序 


当今 ，IT 行 业 正 在 经 历 一 场 前 所 未 有 的 巨大 变革 。 虽 然 IT 技 术 本 身 的 特点 决定 了 这 个 行业 注定 充满 变化 ， 但 在 本 人 28 年 的 IT 从 业经 历 中 ， 还 是 第 一 次 感受 到 像 今天 这 样 规 模 巨大 且 影 响 深 远 的 变革 。IT 技 
术 日 新 月 异 的 发 展 给 各 行 各 业 带 来 了 翻天 覆 地 的 变化 ， 甚 至 可 以 说 推动 了 整个 人 类 社会 从 传统 经 济 到 数字 经 济 的 转型 : 从 金融 、 零 售 、 新 闻 传 媒 ， 到 交通 、 通 信 、 社 交 、 媒 体 、 政 府 政务 ， 这 些 领 域 无 一 不 
受到 IT 技术 发 展 所 带 来 的 巨大 影响 ， 面 临 着 数字 转型 的 挑战 和 机 遇 。 数 字 经 济 所 带 来 的 变化 之 快 、 影 响 之 大 ， 念 许多 人 始 料 未 及 。 短 短 几 年 中 ， 数 字 经 济 已 经 得 到 长 足 发 展 。 今 天 ， 全 球 最 大 的 短 租 服务 企 
业 Airbnb 没 有 一 间 自 己 的 实体 酒店 ， 全 球 最 大 的 零售 企业 阿里 巴巴 没有 自己 的 库房 和 店面 ， 全 球 最 大 的 出 租车 公司 Uber 没 有 一 辆 自己 的 出 租车 一 一 支撑 数字 经 济 的 ， 是 数字 技术 (或 者 IT 技术 ) . ATI 
统 经 济 的 运营 模式 ， 这 些 核心 技术 所 要 解决 的 根本 问题 是 : 第 一 ， 随 时 随地 的 万 物 互联 (移动 互联 网 ) ; 第 二 ， 无 穷 无 尽 的 计算 资源 ( 云 计算 ) ; 第 三 ， 极 其 丰富 的 数据 智慧 (大 数据 ) 。 例 如 ， 前 面 提 到 
的 Airbnb， 从 根本 上 来 说 ， 它 解决 了 房屋 提供 者 和 需求 者 之 间 的 联系 问题 ， 通 过 互联 网 和 云 计算 技术 构建 了 一 个 拥有 成 干 上 万 卖家 和 买 家 的 交易 平台 ， 这 就 是 典型 的 数字 经 济 ， 即 买 家 和 卖家 无 需 见面 ， 就 
能 在 虚拟 数字 平台 上 进行 和 完成 所 有 交易 。 这 个 虚拟 数字 平台 的 前 端 是 我 们 的 手机 或 电脑 ， 后 台 则 是 能 够 迅速 处 理 海量 交易 请 求 和 数据 的 云 计算 平台 。 


云 计 算 从 诞生 到 今天 经 历 了 持续 的 演进 和 变化 ， 由 于 每 个 人 看 待 云 计算 的 角度 不 同 ， 对 云 计 算 的 定义 也 存在 多 种 版 本 ， 多 少 有 点 盲人 摸 象 的 感觉 。 但 随 着 各 行 各 业 ， 特 别 是 消费 领域 开始 大 规模 使 用 云 
计算 平台 来 推动 其 行业 转型 ， 各 种 前 端 应 用 对 后 端 云 计算 平台 的 要 求 也 越 来 越 清晰 。 无 论 云 计 算 的 标准 定义 是 什么 ， 今 天 我 们 所 说 的 云 计算 至 少 应 该 具有 以 下 几 个 特点 : 第 一 ， 伸 缩 性 和 扩展 性 ， 即 系统 必 
能 够 自动 满足 各 种 负载 需求 。 以 12306 火 车 售票 系统 为 例 ， 它 既 要 能 够 处 理 平 峰 时 的 访问 量 ， 更 要 足以 应 对 高 峰 时 (如 春运 期 间 ) 1000 倍 以 上 的 访问 量 ; 第 二 ， 安 全 性 ， 即 系统 本 身 一 定 要 保证 安全 可 
， 毕 竟 云 平台 上 存在 各 类 应 用 和 诸多 用 户 ， 信 息 安 全 可 谓 重 中 之 重 ; 第 三 ， 灵 活性 ， 即 云 平台 上 的 应 用 必须 能 够 对 用 户 需求 的 变化 做 出 迅速 响应 。 


yy 


要 实现 云 计 算 系统 的 伸缩 性 、 安 全 性 和 灵活 性 并 非 易 事 ， 特 别 是 在 动 辑 成 王 上 万 ， 甚 至 几 十 万 台 服 务 器 的 超大 型 云 计算 中 心中 实现 上 述 功能 。 大 家 知道 ， 要 想 让 IT 系统 具有 灵活 性 ， 就 要 从 根本 上 把 物 
理 层面 的 操作 变 成 逻辑 层面 的 操作 ， 把 具体 变 为 抽象 ， 把 由 硬件 完成 的 任务 交 由 软件 来 完成 。 一 个 简单 的 类 比 是 ， 当 我 们 要 物理 移动 一 台 笨 重 的 机 器 时 ， 必 然 会 比 在 软件 中 移动 0 和 1 要 费力 费时 。 基 于 这 样 
一 个 简单 朴素 的 道理 ， 我 们 就 不 难 理解 云 计算 中 的 那些 关键 技术 ， 例 如 虚拟 化 、laaS 及 PaaS。laas (Infrastructure as a Service) 的 功能 从 根本 上 来 说 是 把 大 量 物理 的 计算 存储 和 网 络 资源 虚拟 化 为 虚拟 资 
源 池 ， 用 户 通过 软件 调用 这 些 资源 ， 无 需 关心 底层 硬件 ， 从 而 实现 基础 架构 的 灵活 可 伸缩 性 。 同 样 的 道理 ， 为 了 让 云 计 算 应 用 的 开发 者 无 需 关心 基础 架构 的 细节 从 而 能 够 专注 于 应 用 本 身 的 开发 和 部 署 ， 应 
和 基础 架构 之 间 的 通信 和 管理 就 从 具体 应 用 中 剥离 出 来 ， 成 为 一 个 通用 的 软件 平台 ， 这 个 平台 就 叫做 Paas (Platform as a Service) 。 就 像 laas 用 户 不 需要 关心 底层 服务 器 一 样 ，Paas 平 台 用 户 也 无 需 关 
心 基础 架构 ， 只 要 关注 于 自己 所 要 部 署 和 开发 的 应 用 和 服务 即 可 。 


目前 市 场 上 存在 着 许多 PaaS 产 品 ,， 令 人 眼花 红 乱 ， 其 中 Cloud Foundry 是 出 现 最 早 、 迄 今 为 止 在 业界 应 用 最 为 广泛 的 PaaS 技 术 。Cloud Foundry 最 早 由 Pivotal 公 司 开 发 ， 为 了 推动 云 计算 的 发 
展 ，Pivotal 公 司 和 VMware 公 司 于 2015 年 将 此 项 技术 开源 ， 以 吸引 更 多 的 用 户 和 开发 者 来 参与 开发 。 本 书 的 几 位 作者 是 亲自 参与 Cloud Foundry 开 发 的 非常 优秀 的 工程 技术 人 员 ， 他 们 不 仅 对 该 项 技术 本 身 
有 着 非常 透彻 的 了 解 ， 同 时 还 有 丰富 的 应 用 Cloud Foundry 技 术 的 经 验 。 计 算 机 科学 说 到 底 是 一 门 应 用 科学 ， 由 这 样 一 批 既 深 说 Paas 技 术 核心 ， 又 有 着 丰富 实 操 经 验 的 人 士 ， 根 据 其 亲身 经 历 和 工作 体会 来 
编写 这 本 关于 Cloud Foundry 的 参考 读物 ， 可 谓 再 合适 不 过 了 。 相 信 无 论 是 对 云 计算 感 兴趣 的 工程 技术 人 员 ， 还 是 正在 寻求 知识 拓展 的 在 校 学 生 ， 都 会 发 现 此 书 是 一 本 不 可 多 得 的 参考 书 。 


祝 大 家 阅读 愉快 。 


2017 年 1 月 于 北京 


一 、 为 何 要 编写 这 本 书 


Pivotal 中 国 研发 中 心 在 2013 年 伴随 着 Pivotal 全 球 总 公司 创立 而 同步 组 建 ， 中 国 研发 中 心 的 使 命 是 为 企业 数字 化 变革 提供 前 瞻 性 的 技术 支撑 、 方 法 和 文化 。Pivotal 中 国 研发 中 心 团 队 继承 自 EM( 卓 越 研 
发 集团 的 大 数据 团队 和 VMWare 研 发 中 心 的 云 分 析 (Cloud Analytics) 团队 。 今 天 ， 中 国 研 发 中 心 主要 围绕 Cloud Foundry 的 Web Service 服 务 、Greenplum 大 数据 产品 和 Hadoop 上 的 HAWQ 大 数据 引 
警 进 行 研发 。 这 些 产 品 组 合 在 一 起 ， 为 企业 数字 化 转型 提供 了 基于 Paas 并 拥抱 大 数据 的 现代 敏捷 基础 架构 。 在 云 时 代 ， 非 数字 型 企业 采用 这 个 基础 架构 可 以 极 大 地 缩短 和 世界 级 互联 网 企业 投入 数 亿美 元 研 
发 的 基础 设施 的 差距 。 


Pivotal Cloud Foundry 是 Pivotal 产 品 套件 的 基础 ， 中 国 Cloud Foundry 团 队 秉承 探索 精神 ， 在 2010 年 就 开始 对 云 和 数据 交集 的 前 沿 进行 探索 。2010 征 年底， 我 们 尝试 着 想象 2015 年 到 2020 年 工业 界 
云 和 数据 的 尖端 并 开始 征程 ， 中 间 也 触发 了 Cetas 的 并 购 以 加 快 征程 。 随 着 时 间 的 推移 ， 我 们 创造 的 产品 和 服务 一 次 次 被 时 代 浪 潮 托 起 。 团 队 今天 运营 着 Cloud Foundry 的 云 版 本 服务 ， 迎 接 PaaS 浪 潮 的 到 
来 。 


因为 Pivotal 公 司 秉承 开源 精神 ， 所 以 我 们 的 这 些 产品 集 可 以 用 于 企业 的 数字 化 转型 。 但 是 ， 在 将 PaaS 云 和 大 数据 套件 平民 化 的 过 程 中 ， 非 数字 型 企业 面临 战略 定位 、 技 术 培养 和 文化 转型 的 挑战 。 这 也 
触发 了 我 们 研发 中 心 的 同事 们 编写 著作 的 想法 ， 希 望 能 够 帮助 实施 转型 的 企业 定义 战略 、 开 发 云 原生 应 用 以 提供 数字 化 服务 ， 并 提供 Cloud Foundry 运 营 方面 的 帮助 。 


二 、 为 何 要 立足 PaaS 


在 过 去 很 长 的 时 间 里 ， 系 统 集成 商 在 企业 服务 中 扮演 了 很 重要 的 角色 。 他 们 帮助 企业 选择 硬件 、 网 络 、 软 件 并 且 配 置 、 部 署 ， 原 因 在 于 企业 软件 往往 很 复杂 ， 而 这 个 复杂 性 从 部 署 安 装 就 开始 存在 了 ， 
企业 不 得 不 通过 系统 集成 商 来 完成 这 些 工作 。 另 一 方面 ， 缺 乏 经 验 的 工程 师 可 能 要 摸索 比较 长 的 时 间 才 能 让 产品 运行 在 稳定 可 靠 的 状态 。 网 络 工程 师 和 系统 工程 师 往往 忙 得 不 可 开交 ， 经 常 要 跑 到 机 房 去 连 
接 网 络 和 安装 不 同 的 系统 ， 产 品 出 现 问题 时 总 要 从 软件 到 硬件 逐 层 排查 ， 费 时 费力 。 


laaS (Infrastructure as a Service) 技术 的 成 熟 让 大 家 轻松 了 很 多 ， 所 有 的 网 络 、 存 储 和 计算 资源 都 可 以 用 一 个 集中 的 平台 加 以 有 效 的 管理 ， 需 要 使 用 时 创建 一 个 按 需 配置 的 虚拟 机 即 可 。 可 以 
说 ，laas 把 硬件 资源 抽象 化 了 。1aas 的 好 处 显而易见 ， 而 且 应 用 广泛 ， 所 以 大 家 在 说 到 云 计 算 的 时 候 ， 有 时 候 会 把 laaS 看 成 云 计算 的 全 部 。 其 实 ， 在 云 计算 诞生 之 初 ， 人 们 就 设想 了 在 laaS 之 上 建设 一 个 
PaaS (Platform as a Service) 层 。laaS 层 提供 虚拟 计算 、 网 络 和 存储 资源 之 后 ， 部 署 应 用 时 需要 的 运行 时 和 服务 还 是 很 费 周 折 ， 应 用 的 生命 周期 管理 、 日 志 、 监 控 都 有 繁重 的 工作 。PaaS 就 是 为 核心 业务 
逻辑 的 应 用 提供 支撑 的 服务 平台 ， 它 抽象 了 应 用 之 下 、 操 作 系统 之 上 的 所 有 软件 资源 和 服务 ， 让 它们 对 应 用 友好 而 便捷 。 


Paas 带 来 的 价值 一 点 都 不 亚 于 laaS。 安 装 单 节 点 的 数据 库 很 简单 ， 安 装 多 节点 的 数据 库 就 复杂 一 点 ; 运 维 一 个 多 节点 的 数据 库 并 保证 很 高 的 可 用 性 ， 要 求 就 更 高 了 ;如 果 再 要 求 这 个 数据 库 的 性 能 非常 
好 ， 那 么 没有 丰富 的 经 验 和 完备 的 监控 ,就 只 能 是 一 个 美好 的 愿望 。 如 果 用 户 有 成 百 上 干 个 应 用 ， 而 这 些 应 用 又 依赖 无 数 错综复杂 的 服务 ， 那 么 PaaS 平 台 正 是 这 种 场景 的 用 武之 地 ， 它 可 以 高 效 地 管理 好 这 
些 应 用 和 服务 ， 把 所 有 这 些 应 用 和 服务 的 公共 需求 做 到 极致 好 用 。PaaS 让 弹性 计算 真正 得 以 实现 。 在 没有 PaaS 时 ， 把 应 用 从 1 个 节点 扩展 到 10 个 节点 ,或 者 从 10 个 节点 减少 到 1 个 节点 ， 需 要 做 很 多 的 工 
作 ， 包 括 逐 个 创建 虚拟 机 、 逐 个 配置 、 逐 个 监控 。 有 了 PaasS 之 后 ， 只 需要 一 个 命令 ，Paas 就 会 自动 执行 以 上 所 有 过 程 。 


基 者 和 开发 者 多 入 


即使 是 在 笔记 本 电脑 上 安装 一 个 和 


简单 地 说 ，1aaS 是 面向 硬件 资源 的 抽象 ， 解 放 了 系统 工程 师 ，Paas 则 提供 了 对 软件 服务 的 抽象 ， 是 应 用 开发 和 运 维 人 员 的 得 力 助手 。 它 们 的 共同 点 是 ， 实 现 了 共享 资源 和 集中 管理 ， 降 低 了 维护 和 操作 
成 本 ， 使 效益 和 效率 最 大 化 。 


我 们 相信 ，Cloud Foundry 会 是 一 个 对 产业 界 有 深远 影响 力 的 开源 PaaS 产 品 。 经 过 多 年 的 技术 积累 和 产品 演化 ，Cloud Foundry 已 经 范 壮 成 长 为 一 个 可 以 部 署 在 企业 生产 环境 的 成 熟 产品 。 在 这 样 一 个 
软件 无 处 不 在 的 时 代 ， 新 型 的 互联 网 公司 因为 技术 的 积累 和 人 才 的 优势 ， 正 在 不 断 融合 到 市 场 的 各 个 方向 。 传 统 的 以 业务 为 重 的 公司 因为 缺乏 快速 搭建 丰富 而 可 靠 的 应 用 的 能 力 ， 在 竞争 中 处 于 劣势 。 
Cloud Foundry 的 成 熟 恰 着 其 时 ， 能 够 为 所 有 软件 公司 或 者 希望 以 软件 带动 业务 的 传统 公司 提供 新 平台 ， 从 而 帮助 企业 完美 转型 ， 通 过 敏捷 开发 ， 紧 随 市 场 变化 ， 不 断 拓展 业务 。 


这 本 书写 了 什么 


在 每 个 时 代 ， 都 有 一 些 伟大 的 技术 和 产品 影响 整个 产业 界 ， 每 种 技术 的 盟 化、 发 展 、 演 进 和 流行 都 离 不 开 技术 领袖 前 瞻 性 的 创新 研发 ， 也 离 不 开 技术 布道 者 不 遗 余 力 的 宣传 推广 。Cloud Foundry 的 莫 


来 倾 尽 全 力 打造 这 款 产品 ， 我 们 也 愿意 为 Cloud Foundry 的 推广 出 一 份 力 ， 希 望 抛砖引玉 ， 帮 助 


HI 


内 更 多 企业 更 好 地 通过 Cloud Foundry 获 得 商业 上 的 成 功 。 


坦白 地 说 ，Cloud Foundry 看 似 很 复杂 ， 但 如 果 您 能 静 下 心 来 读 一 读本 书 ， 就 会 发 现 它 本 身 的 设计 是 很 精练 而 自然 的 ， 它 在 很 认真 地 解决 一 个 广泛 而 复杂 的 问题 。 如 果 您 能 按照 本 书 的 介绍 进行 实战 ， 


机 的 Cloud Foundry， 执 行 一 些 操作 ， 也 会 发 现 Cloud Foundry 对 用 户 很 友好 ， 操 作 很 简单 。 


本 书 分 为 以 下 几 部 分 。 第 1 章 和 第 2 章 分 享 了 作者 对 云 计算 技术 的 理解 、 思 考 和 对 云 计算 发 展 趋势 的 判断 ， 并 以 汽车 行业 为 例 ， 展 现 了 云 计算 在 助力 传统 企业 数字 化 转型 中 的 作用 ， 以 及 如 何 通过 Paas 实 


施 企业 的 数字 化 转型 。 第 3 章 和 第 4 章 介绍 了 Cloud Foundry 的 发 展 历史 、 架 构 、 特 色 ， 以 及 如 何 基 于 Cloud Foundry 开 发 云 原生 的 应 用 。 第 5 章 介绍 了 Cloud Foundry 的 部 署 工具 BOSH。 第 6 章 和 第 7 章 是 
Cloud Foundry 的 实战 章节 ， 介 绍 了 Cloud Foundry 的 规划 、 部 署 和 实施 。 最 后 两 章 介绍 了 Cloud Foundry 的 服务 和 运 维 工 具 ， 对 于 拓展 Cloud Foundry 的 可 用 服务 和 提升 运 维 的 自动 化 程度 很 有 帮助 。 


"m, 
as a Service, PaaS) 为 何 将 成 为 云 计算 下 一 阶段 的 发 展 热点 。 最 后 将 和 读者 探讨 云 计算 和 数字 化 浪潮 互 为 左右 带 来 的 社会 变革 和 机 遇 。 


1.1 


我 们 希望 这 本 书 能 给 准备 借助 云 计算 技术 向 数字 化 转型 的 企业 决策 者 、CIO、 正 在 从 事 云 计 算 技术 工作 的 读者 带 来 帮助 。 作 为 学 习 型 企业 和 团队 ， 我 们 更 建议 采用 如 下 方式 阅读 本 书 : 企业 的 决策 者 阅 
读 第 1 章 和 第 2 章 ， 理 解 云 战略 (特别 是 PaaS 云 ) 提出 的 必要 性 和 带 来 的 数字 化 转型 机 会 ; 之 后 将 书 传 给 软件 开发 团队 ， 建 议 团队 技术 人 员 阅 读 第 3 章 和 第 4 章 ， 这 部 分 内 容 结合 实际 例子 解释 了 Cloud 

Foundry 的 机 理 和 云 原生 的 概念 ; 开发 团队 启动 Cloud Foundry 上 的 应 用 开发 以 后 ， 可 以 把 书 传 给 云 运 维 团队 ， 他 们 可 以 重点 阅读 第 5 ~ 9 章 ， 这 部 分 内 容 会 帮助 他 们 理解 如 何在 私有 云 或 者 公有 云 上 运 维 
Cloud Foundry。 


目前 ,已 有 不 少 传统 企业 基于 Cloud Foundry 进 行 数字 化 转型 ， 更 有 很 多 创业 团队 基于 Cloud Foundry 开 展 他 们 的 工作 。 关 于 如 何 创建 一 个 适合 数字 化 经 济 的 新 型 创新 软件 和 数据 团队 ， 作 者 非常 想 听 
到 读者 的 问题 和 经 验 。 您 可 以 关注 本 书 微 博 号 (@Cloud Foundry: 从 数字 战略 到 实现 ) 并 留言 。 


限于 作者 的 学 识 ， 本 书 难免 有 


疏漏 之 处 ， 奶 请 同行 和 各 位 读者 批评 指正 ， 我 们 将 不 胜 感激 。 
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第 1 章 ”数字 化 变革 下 的 新 云 浪潮 


作为 云 计算 最 早 的 一 批 从 业 人 员 ， 作 者 经 历 了 云 计 算 从 兴起 到 蓬勃 发 展 的 历程 。 在 云 计 算 日 益 成 为 信息 社会 基础 设施 的 今天 ， 回 顾 并 展望 云 计算 的 发 展 对 于 每 个 云 计算 从 业者 将 具有 重要 的 意义 。 本 
作者 将 首先 回顾 包括 云 计 算 在 内 的 三 代 技 术 平台 和 对 应 的 数字 商业 模式 ， 帮 助 读者 从 历史 中 发 现 变革 模式 和 机 遇 。 接 下 来 聚焦 到 云 计算 ， 对 云 计 算 技术 进行 剖析 ， 结 合 产品 战略 论证 P 层 云 (Platform 


为 了 帮助 非 技术 专业 读者 理解 云 计算 ， 本 章 会 尽量 采用 通俗 的 语言 ， 站 在 云 计 算 产 品 领导 层 的 视角 从 “三 万 英尺 的 高 空 ”上 总 结 云 计 算 的 技术 概况 。 对 于 技术 人 员 ， 我 们 将 在 后 面 的 章节 描述 P 层 云 计 算 
部 署 的 实战 细节 。 


计算 技术 的 变迁 与 发 展 


从 20 世 纪 发 明 计算 机 以 来 ， 我 们 的 社会 开始 进入 数字 化 时 代 。 数 字 化 之 后 的 信息 变 成 数据 ， 以 计算 机 可 以 处 理 的 方式 存储 下 来 。 信 息 技术 的 发 展 带 来 了 数据 量 的 不 断 增长 ， 特 别 是 最 近 几 年 ， 数 据 量 呈 
爆发 式 增长 。EMC 公 司 曾 在 2014 年 联合 世界 知名 IT 咨询 公司 IDC 做 了 一 个 主题 为 《数字 宇宙 》 的 调查 。 该 调查 报告 指出 ，2013 年 全 世界 的 数据 量 约 为 4.4ZB， 而 到 2020 年 ， 数 据 量 将 增长 到 44ZB (如 图 1-1 
所 示 ) 。 数 字 宇宙 中 ， 数 据 量 基本 每 两 年 翻 一 番 ， 这 意味 着 近 两 年 内 创建 的 数据 比 之 前 积累 的 所 有 数据 量 还 要 大 。 


数字 世界 的 不 断 膨胀 对 于 计算 机 系统 提出 了 新 的 要 求 ， 计 算 技术 也 因此 得 到 不 断 发 展 。 简 单 来 说 ， 从 计算 机 诞生 到 现在 ,计算 技 术 经 历 了 三 代 平台 ,每 一 代 平 台 进化 都 发 生 了 突破 性 的 创新 并 带 来 商业 
模式 的 巨大 变革 。 


1.1.1 ”计算 技术 经 历 的 三 代 平台 及 其 背后 的 技术 公司 


从 计算 机 诞生 到 今天 ， 我 们 通常 认为 数字 技术 经 历 了 如 图 1-2 所 示 三 代 平 台 : 以 大 型 机 (Mainframe) 为 代表 的 第 一 代 平台 ， 以 小 型 机 (Mini 或 者 Minicomputer) 和 PC (Personal Computer， 也 叫 
微型 机 ) 为 代表 的 第 二 代 平 台 和 以 云 计算 为 基础 的 第 三 代 平 台 。 


小 型 机 和 PC 


实现 财务 处 理 
自动 化 


实现 大 部 分 纸 面 处 理 流 
程 的 自动 化 : 
ERP, CRM, Email. ... 


新 的 客户 体验 
新 的 业务 模式 
由 服务 于 海量 客户 的 互联 网 


巨头 企业 引领 潮流 一 新 的 应 
用 构建 和 支撑 方式 


ISAM 数据 管理 关系 数据 库 大 数据 的 数据 管理 


大 型 机 架构 硬件 小 型 机 和 PC 机 硬件 


软件 定义 的 云 数 据 中 心 


图 1-2 计算 技术 经 历 的 三 代 平台 


作者 在 20 世 纪 90 年 代 未 进入 北京 大 学 时 正好 赶 上 PC 浪潮 ， 见 证 了 PC 时 代 的 一 大 批 公司 的 崛起 和 迅猛 发 展 ， 包 括 个 人 机 和 企业 服务 器 的 生产 厂商 一 一 惠普 (HP) 、 康 柏 (Compaq) 、 戴 尔 (Dell) 和 
蓝 色 巨 人 IBM ， 当 时 最 为 人 熟知 、 规 模 比较 大 的 是 微软 公司 和 太阳 微 系统 (Sun Microsystems) 公司 。 现 在 大 家 熟悉 的 苹果 公司 虽然 已 经 有 了 Machintosh 机 ， 但 是 在 当时 ， 加 载 微软 Windows 系 统 的 PC 
在 国内 占 绝对 主导 地 位 。 当 时 主流 的 操作 系统 为 DOS、Windows 的 各 个 版 本 (3.1,Windows 95 和 Windows NT) 、UNIX 及 其 各 种 变 体 。 最 流行 的 UNIX 变 体 是 太阳 微 系统 公司 的 Solaris 操 作 系 统 。 作 者 有 
幸 体验 过 安装 Solaris 系 统 的 工作 站 ， 在 上 面 写 Java 程 序 是 当时 很 时 艇 的 工作 。UNIX 等 同 的 开放 源 代 码 的 操作 系统 Linux 在 20 世 纪 90 年 代 兴 起 ， 最 终 取 代 了 UNIX。 


当时 的 数据 管理 系统 主要 建立 在 关系 型 数据 库 上 ， 因 此 关系 型 数据 库 市 场 的 竞争 也 相当 激烈 ， 包 括 大 家 至 今 仍 非常 熟悉 的 甲骨 文 (Oracle) IBM DB2、 微 软 的 SQL Server 和 Sybase 系统 (已 经 被 SAP 
收购 ) 。 


为 了 实现 


在 PC 盛行 之 前 ， 小 型 机 占据 主流 地 位 。 尽 


见 这 些 机 器 互联 ， 逐 渐 出 现 了 一 批 


络 设备 公司 ， 从 


局 域 网 快速 拓 


(Wang An) 创建 的 Wang 计 算 机 曾 风靡 一 时 


由 于 PC 的 很 多 设计 思想 和 哲学 继承 自 Mini，UNIX 操 作 系统 最 早 也 出 现在 Mini 上 ， 
司 。 作 者 没有 经 历 过 第 一 代 平台 ， 但 是 通过 和 
Data 和 Honeywell 的 首 字母 缩写 。 与 Mini 和 微型 机 


Access Method) , IBM& 


公司 


管 名 为 小 型 机 ， 但 与 今天 的 微型 机 相 比 ， 


展 到 互联 网 ， 其 中 比较 知名 的 有 Novell 和 思科 (Cisco) 公司 。 


|。 作 为 杰出 华人 代表 ， 王 安 本 人 也 


的 前 辈 交流 知道 ，20 世 纪 60 


VIE 
曾经 受到 时 任 中 央 领 导 人 邓小平 的 接见 。 


图 | 


1-3 为 王 安 和 他 的 Wang 计 算 机 。 


因此 这 里 把 Mini 和 PC 同时 归 


代 和 70: 


的 分 而 治之 的 设计 思想 不 同 ， 


代 是 大 型 机 (Mainframe) 盛行 
38188 


9 
机 硬件 的 处 理 能 力 。 大 型 机 年 代 ， 关 系 型 数据 思想 尚未 


大 型 机 


一 代 平 台 厂 商 没 能 把 握 这 一 趋势 ， 最 终 没 能 成 功 过 


然 最 先 发 布 了 关系 型 数据 库 理论 ， 但 最 


i 


度 到 第 二 代 平 台 。 B 


发 关系 型 数据 库 的 却 是 
使 在 第 二 


骨 文 公司 。 在 第 一 代 平 台 妇 


中 天 的 时 候 ， 以 Mini 和 PC 代表 
代 平 台 迅速 发 


属 为 第 二 代 平 台 。 在 第 二 代 平 台 及 公司 繁荣 之 前 ， 同 样 存在 过 第 一 代 平台 和 对 应 的 侍 
村 期 ， 几 大 代表 公司 被 称 为 BUNCH， 即 Burroughs、Univac、NCR、Control 


还 是 要 大 很 多 。 小 型 机 的 代表 公司 有 DEC、IBM、Data General、Wang 和 Prime。 值 得 一 提 的 是 ， 华 人 王 安 


BAZ 


现 ，1BM 的 大 型 机 采 
的 第 二 代 平 台 


了 ISAM (Index Searching 


展 ，PC 崛 起 的 时 候 ， 大 部 分 Mini 计 算 机 产 商 依然 没有 从 Minj 过 ji 


度 到 PC 时 代 。 


始 悄悄 发 


展 。 除 了 IBM ， 其 他 第 


"Ue 


Ee a te 


Al-3 王 安 和 Wang 计 算 机 


王 安 祖 籍 江苏 昆山 ，1920 年 出 生 于 上 海 ，1940 年 毕业 于 上 海 交 大 。1945 年 留学 于 哈佛 大 学 ，1948 年 获得 应 用 物理 博士 学 位 。 他 在 1951 年 创建 了 以 他 名 字 命 名 的 实验 室 Wang Laboratories, REE E éy 
Wang 计 算 器 和 Mini 计 算 机 Wang2200 在 市 场 取得 巨大 成 功 ， 曾 经 一 度 对 蓝 色 巨人 IBM 构 成 威胁 。 


我 们 把 思路 从 上 个 世纪 拉 回 到 现在 ,我 们 正 处 于 第 二 代 平 台 向 第 三 代 平台 迁移 的 过 程 中 ， 两 代 平台 的 公司 并 存 着 。 第 三 代 平台 公司 从 一 开始 就 建立 在 云 计 算 基础 上 ， 他 们 的 计算 资源 可 以 随 着 用 户 的 增 
长 而 动态 增长 ， 他 们 的 软件 在 用 户 不 知 不 觉 的 情况 下 可 以 连续 地 发 布 升 级 ， 不 会 因 系 统 升级 导致 服务 暂停 。 用 户 可 以 通过 多 个 终端 (浏览 器 和 手机 APP) 访问 他 们 的 服务 ， 不 用 担心 如 何 保存 和 备份 自己 的 
数据 。 第 三 代 平台 的 代表 公司 是 谷歌 (Google) 、 脸 谱 (Facebook) 和 亚马逊 (Amazon) 等 ， 他 们 为 了 自己 的 业务 创造 或 者 使 用 了 云 平台 。 更 多 的 新 生 代 公 司 从 诞生 伊始 就 将 业务 部 署 在 云 平台 上 ， 其 
中 最 知名 的 例子 是 美国 电影 视频 服务 公司 Netflix。Netflix 将 其 业务 部 署 在 云 平台 上 ， 同 时 为 了 保证 自己 的 服务 不 因 单个 PC (虚拟 机 ) 失败 而 中 断 ， 还 故意 在 产品 环境 中 部 署 了 一 个 叫 作 混沌 猴子 (Chaos 


Monkey) 的 软件 来 不 停 地 制造 机 器 失败 ， 验 证 基于 云 的 平台 仍然 可 以 稳定 地 提供 服务 。 国 内 一 些 知名 互联 网 公司 也 已 经 将 大 量 业务 部 署 在 云 平台 上 ， 并 且 提供 云 服 务 ， 例 如 阿里 云 。 


技术 公司 在 从 第 二 代 平 台 向 第 三 代 平台 过 渡 的 过 程 中 ， 第 一 代 平台 向 第 二 代 平 台 过 渡 的 历史 会 不 会 重演 ? 我 们 可 以 对 比 一 下 资本 市 场 对 基于 PC 平台 的 第 二 代 大 型 技术 公司 和 基于 云 的 第 三 代 大 型 技术 公 
司 的 评价 。 之 所 以 我 们 观察 资本 市 场 ， 是 因为 资本 市 场 的 前 瞻 性 很 好 地 反映 了 未 来 的 趋势 ， 上 市 公司 CEO 们 很 重要 的 责任 就 是 实现 资本 市 场 预期 。 通 过 谷歌 金融 服务 (Google Finance) ， 我 们 输入 几 家 大 
型 技术 公司 的 股票 代码 (BBE: SAP，Salesforce:CRM ， 惠 普 : HPQ， 国 际 通用 商机 : 1BM ， 谷 歌 : GOOG， 亚 马 逊 : AMZN ， 甲 骨 文 : ORCL， 微 软 : MSFT) ， 比 较 一 下 他 们 在 最 近 5 年 (2010 年 12 
月 到 2015 年 12 月 ) 的 总 市 值 的 表现 ， 具 体 结果 如 图 1-4 所 示 。 这 些 公司 市 值 增加 的 幅度 从 高 到 低 依次 是 : NERIS Ba, Salesforce, WR. SAP. PAX, IBM (负增长 ) 和 惠普 (负增长 ) 。 可 以 看 出 ， 
某 种 程度 上 ， 这 个 排序 结果 和 这 些 公司 的 云 计算 战略 的 落实 有 明显 的 正 关联 性 。 亚 马 还 和 谷歌 不 仅 其 技术 基于 第 三 平台 ， 其 商业 模式 也 很 好 地 反映 了 云 计 算 和 互联 网 模式 的 特点 ， 因 此 资本 给 予 非常 高 的 评 
价 。 而 基于 第 二 代 平 台 技 术 的 公司 ， 其 对 应 的 商业 模式 也 是 较 早 的 企业 软件 模式 ， 即 使 公司 本 身 处 于 盈利 的 状态 ， 资 本 市 场 的 反应 仍然 不 像 对 前 一 类 公司 那么 积极 。 


Zoom: 1d 5d im 3m 6m YTD iy 5y 10y All fu. 
Dec 23, 2010 - Dec 21, 2015 


@SAP +57.35% & CRM «126 51% @HPQ-72.76% @IBM-6.54% @GOOG+153.40% @AMZN+274.19% @ORCL+15.75%  MSFT +96 51% 


A Ë V 
2 5096 
/ 


j 
A, 20096 
150% 


py PI MH / 1 


-100% 


2011 2012 2013 2014 2015 


图 1-4 大 型 技术 公司 最 近 5 年 市 值 比较 


11.2 ”三代 技术 平台 所 驱动 的 商业 模式 


现在 我 们 聚焦 到 商业 世界 ， 挖 掘 商业 世界 背后 看 不 见 的 数字 化 驱动 力 。 作 为 一 个 商界 的 决策 者 ， 具 备 良好 的 趋势 判断 能 力 非常 重要 ， 判 断 正确 则 事半功倍 ， 判 断 错 误 则 事倍功半 。 当 然 ， 大 量 的 MBA 课 
程 也 告诉 决策 者 : “作为 一 个 商业 决策 者 ， 对 时 机 的 判断 也 非常 重要 。 做 得 太 早 可 能 帮助 后 来 者 培育 市 场 ， 自 己 的 资金 使 用 完毕 不 得 不 退出 市 场 。” 但 是 ， 对 于 趋势 的 判断 往往 比 对 于 时 机 的 判断 更 加 
要 。 原 因 有 两 个 : 


T 


1) 商业 成 功 并 不 是 对 于 所 有 人 都 有 意义 。 数 字 商 业 里 的 很 多 领袖 早已 经 实现 财务 自由 ， 但 是 他 们 每 天 还 在 工作 。 对 于 这 些 人 而 言 ， 在 自己 所 处 领域 保持 领先 是 驱动 他 们 创造 价值 的 动力 。 反 过 来 说 ， 重 
复 别 人 已 经 做 过 的 工作 意义 不 大 ， 例 如 在 一 个 细 分 市 场 进行 差分 产品 。 学 术 界 很 少 从 事 别 人 已 经 发 表 过 论文 的 理论 研究 。 


2) 对 于 趋势 判断 通常 是 定性 不 定量 的 。 对 于 一 个 新 兴 事 物 ， 所 有 的 市 场 预测 都 是 不 准 的 ， 所 以 很 难 根据 市 场 规模 来 进行 部 署 。 时 代 浪 潮 托 起 的 通常 是 在 浪潮 方向 坚持 不 懈 的 公司 ， 而 不 是 按照 市 场 时 机 
制定 完美 商业 计划 的 公司 。 (当然 对 于 成 熟 市 场 的 决策 者 ， 最 好 按照 华尔街 给 出 的 预期 交付 。) 


作为 商业 决策 者 ， 怎 样 对 趋势 做 出 正确 的 判断 ”有 人 说 ， 正 确 的 判断 源 自 决策 者 敏锐 的 商业 触觉 ， 但 是 这 种 直觉 的 触发 有 赖 于 之 前 对 本 领域 及 业务 的 深刻 理解 与 认识 。 所 以 要 培养 商业 直觉 ， 就 要 善于 
总 结 、 分 析 历史 ， 从 趋势 性 变化 中 学 习 。 
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F 轻 时 ， 我 们 通常 是 从 父母 、 长 辈 、 导 师 那 里 学 习 经 验 ， 或 者 通过 读书 、 观 察 来 获得 决策 所 需要 的 知识 或 建议 。 公 司 里 年 轻 的 高 管 有 较 多 的 机 会 和 公司 执行 层 互动 ， 听 到 或 学 到 判断 趋势 的 方法 ; 商 二 
代 因 为 能 直接 获得 长 辈 们 多 年 来 积累 的 商业 知识 ， 在 判断 趋势 方面 有 着 得 天 独 厚 的 优势 ， 所 以 更 容易 做 出 正确 的 决策 进而 获得 成 功 。 理 论 上 ， 现 在 风险 资本 非常 丰富 ， 非 企业 家 家 庭 出 身 的 创业 者 如 果 能 
给 出 独到 的 商业 见解 并 有 较 强 的 执行 能 力 ， 就 能 获得 足够 的 创业 资本 。 但 是 ， 在 没有 长 辈 、 公 司 执行 层 ， 或 者 导师 帮助 每 天 输入 这 些 历史 商业 洞察 时 ， 该 怎么 办 呢 ? 


这 时 ， 最 有 效 的 方法 就 是 通过 学 习 和 观察 来 获得 洞察 ， 特 别 是 观察 相对 超前 的 平行 文化 。 之 前 的 十 年 里 ， 不 少 创业 公司 将 美国 互联 网 公司 的 成 功 商业 模式 带 到 中 国 ， 从 而 获得 了 巨大 的 成 功 。 如 果 还 没 
有 在 新 兴 市 场 出 现 采用 成 熟 市 场 证 明 过 的 商业 模式 的 企业 ， 那 么 如 果 出 现 采用 这 类 模式 的 创业 者 ， 那 将 更 容易 获得 投资 者 的 支持 。 但 是 随 着 互联 网 的 兴起 ， 知 识 分 享 的 速度 越 来 越 快 ， 看 到 类 似 机 会 的 人 也 
越 来 越 多 ， 所 以 完全 复制 商业 模式 带 来 的 竞争 会 非常 激烈 。 这 就 要 求 商业 决策 者 不 仅 学 习 成 熟 市 场 的 新 事物 、 新 模式 ， 还 要 在 观察 的 基础 上 继续 在 当地 进行 市 场 差 分 或 者 再 向 前 一 步 。 


更 加 复杂 的 方法 是 在 同一 个 文化 的 历史 变革 进行 观察 学 习 ， 有 一 名 名言“ 历史 总 是 重复 自己 ”， 通 俗 地 说 ， 大 数据 的 大 部 分 算法 也 是 学 习 历史 数据 以 对 未 来 进行 判断 。 好 在 数字 商业 的 历史 并 不 长 ， 看 
到 数字 商业 历史 的 不 少 人 都 还 活 在 这 个 地 球 上 。 (如 果 要 观察 地 质 运 动 的 大 变革 ， 那 可 能 要 稍微 麻烦 一 些 。) 


第 一 代数 字 平台 在 计算 资源 非常 紧缺 的 情况 下 产生 ， 所 以 非常 强调 计算 资源 的 使 用 效益 最 大 化 ， 大 型 机 主要 用 于 金融 系统 账号 计算 和 人 口 统计 等 最 需要 计算 的 地 方 。 即 便当 时 计算 资源 如 此 紧缺 ， 敏 感 
的 商业 领袖 仍然 看 到 了 利用 计算 资源 取代 人 力 获得 价值 的 机 会 。 美 国航 空 公司 (American Airline, AA) 的 董事 会 在 1959 年 批准 了 4 千 万 美元 的 预算 开发 计算 机 系统 来 蔡 代 人 工 订 票 系统 。AA 当 时 只 有 25 架 
飞机 ， 这 4 二 万 美元 可 以 用 来 购买 5 ~ 6 架 波音 707 飞 机 。 但 是 AA 为 何 投入 这 么 多 费用 来 开发 计算 机 系统 ”根据 IEEE 计 算 机 历史 年 鉴 (IEEE Annals of Computing History, 1995) 记载 : 在 1959 年 使 用 计算 
机 系统 之 前 ， 即 使 订购 一 张 短途 的 美国 国内 往返 的 机 票 的 工作 ， 都 涉及 12 个 人 的 协作 、15 个 流程 步骤 和 3 个 小 时 的 等 待 。AA 开 发 的 订 票 系统 极 大 提升 了 订 票 流程 的 工作 效率 、 节 省 了 人 力 成 本 。 在 20 世 纪 80 
代 ，AA 的 订 票 系统 还 由 于 对 旅行 社 影响 过 大 而 被 调查 ， 但 AA 也 看 到 了 他 们 的 订 票 系统 可 以 实现 “IT as a Service” 而 作为 独立 业务 发 展 ， 最 终 在 20 世 纪 90 年 代 通 过 资本 运作 成 为 今天 的 美国 知名 旅行 服 
务 公司 Travelocity，2000 年 后 国内 也 兴起 了 类 似 于 Travelocity 的 旅行 网 站 。 今 天 大 家 习惯 了 通过 手机 APP 或 在 线 预 定 航班 ， 但 是 最 早 的 订 票 系统 却 是 起 源 于 大 型 机 时 代 一 个 有 愿景 的 公司 肯 用 高 于 20% 的 资 
产 投资 来 开发 IT 系统 以 期 创新 商业 模式 。AA 在 20 世 纪 50 年 代 的 数字 化 创新 精神 ， 可 以 成 为 中 国 在 从 资产 投资 到 知识 投资 的 变革 环境 下 的 借鉴 。 


H 


第 二 代 平 台 时 代 的 计算 资源 相对 丰富 ， 计 算 机 可 以 帮助 很 多 行业 和 领域 提高 工作 效率 ， 于 是 工作 流 和 无 纸 化 办 公 的 创新 在 各 行业 莲 勃 兴起 ， 大 量 大 中 型 企业 采用 了 企业 资源 管理 (Enterprise Resource 
Planning, ERP) 、 客 户 关系 管理 (Customer Relationship Management, CRM) 系统 和 电子 邮件 (Email) 系统 。 这 些 系统 现在 已 经 为 大 家 所 熟悉 ， 最 早 采用 这 些 系统 的 公司 由 于 效率 的 提升 而 在 节约 
成 本 和 提升 客户 满意 度 方面 获得 一 定 的 优势 。 后 来 的 企业 由 于 竞争 压力 不 得 不 跟 进 采 用 这 些 系统 ， 不 少 行业 领导 者 虽然 引进 这 些 系统 较 晚 ， 但 是 由 于 积极 跟 进 也 不 至 于 丧失 行业 领导 地 位 。 原 因 是 这 些 软件 
解决 了 流程 软件 化 的 问题 ， 因 此 企业 即使 没有 采用 这 些 软件 ， 但 只 要 劳动 力 成 本 足够 低 ， 也 不 至 于 被 行业 抛 奔 。 那 时 ， 中 国 大 量 的 中 小 企业 还 没有 CRM、 ERP 软 件 或 者 企业 Email 系统 ， 所 以 当时 名 片上 有 
自己 的 公司 邮件 地 址 的 通常 都 是 规模 较 大 的 企业 。 中 小 企业 大 量 采 用 Email 是 在 第 三 平台 兴起 以 后 直接 从 云 服务 商 订购 开始 的 。 


相 比 于 第 二 代 平 台 ， 企 业主 要 使 用 软件 实现 业务 流程 化 ， 第 三 代 平台 带 来 的 数字 化 商业 变革 的 意义 更 加 深远 。 第 三 代 平台 以 云 服务 的 方式 提供 大 数据 存储 分 析 和 消费 级 应 用 开发 及 发 布 框架 ， 使 得 企业 
能 够 专注 于 能 够 提升 行业 竞争 力 的 知识 积累 和 提升 客户 体验 。 由 于 第 三 代 平台 极 大 降低 了 数字 化 行业 知识 和 消费 化 软件 体验 的 技术 门槛 ， 使 得 创业 公司 致力 于 改善 用 户 体验 ， 通 过 用 户 反 馈 数 据 快速 沉淀 行 
业 知识 ， 重 新 审视 行业 隐 含 规则 而 挑战 原 有 行业 领导 者 。Havas Media 的 高 级 副 总 裁 Tom Goodwin 的 一 段 关 于 创业 公司 颠覆 传统 公司 模式 的 观点 曾 在 网 络 上 流传 (如 图 1-5 所 示 ) . 


世界 上 最 大 的 媒体 公司 ,但 自己 并 不 创造 内 容 


[E 世界 上 最 大 的 出 租车 公司 ， 但 并 没有 一 辆 出 租车 
e 


wisescon ”世界 上 最 有 价值 的 零售 己 并 没有 任何 库存 


airbnb ”世界 上 最 大 的 住宿 提供 商 ,但 自己 没有 任何 地 产 


图 1-5 ”新兴 公 司 如 何 挑战 传统 行业 模式 


其 中 ， 优 步 (Uber) 作为 世界 上 最 大 的 出 租车 公司 没有 一 辆 汽车 ， 脸 谱 (Facebook) 公司 作为 世界 上 最 大 的 媒体 公司 自己 并 不 创造 内 容 ， 阿 里 巴巴 (Alibaba) 作为 世界 上 最 有 价值 的 零售 公司 自己 没 
有 任何 库存 ， 空 中 食 宿 (Airbnb) 是 世界 上 最 大 的 住宿 提供 商 却 没有 任何 地 产 。 这 些 公司 在 几 十 甚至 十 几 年 内 积累 的 用 户 数据 比 行业 主导 者 几 百 年 积累 的 数据 还 多 ， 这 给 行业 的 主导 者 带 来 了 巨大 的 竞争 压 
力 。 行 业主 导 者 们 也 不 甘 落 伍 ， 纷 纷 按照 《创新 者 的 窘境 》 的 理论 成 立新 公司 应 对 时 代 变 革 ， 通 过 数据 化 沉淀 出 本 行业 的 知识 并 通过 软件 来 改善 用 户 体验 。 手 机 上 五 花 八 门 的 餐厅 、 酒 店 、 银 行 、 电 信 等 服 
务 应 用 (APP) 的 更 新 速度 反映 了 企业 在 数据 化 方面 的 工作 和 布局 。 


我 们 再 以 前 面 提 到 的 Netflix 公 司 为 例 ， 仔 细 剖 析 这 个 从 出 租 DVD 起 家 的 公司 如 何 通 过 数字 化 战略 一 步 步 进入 影视 行业 并 保持 优势 的 。 作 者 在 2008 年 前 后 曾 是 Netflix 公 司 的 客户 。 当 时 美国 DVD 出 租 行 
业 的 领导 者 是 Blockbuster。 在 2004 年 的 襄 峰 时 期 ，Blockbuster 在 全 美国 有 6 万 名 员工 和 9 干 家 实体 店 。 但 是 Netflix 的 商业 模式 很 不 一 样 ， 用 户主 要 通过 网 站 来 选择 喜欢 的 DVD， 并 将 其 添加 到 自己 的 个 性 
化 列表 ， 然 后 根据 不 同 的 月 订购 费 套餐 选择 不 同 数量 的 DVD 留 在 自己 家 里 。 用 户 看 完 DVD 以 后 把 DVD 放 入 Netlix 预 先 支付 邮费 的 信封 寄 回 Netflix 公 司 。Netflix 公 司 收 到 返回 的 DVD 以 后 ， 从 用 户 的 个 性 化 
列表 中 寄 出 等 量 的 DVD 给 用 户 。Netflix 的 商业 模式 的 创新 之 处 就 是 向 用 户 准确 推荐 其 喜欢 的 DVD， 从 而 吸引 用 户 持续 进行 月 订购 。 相 比 Blockbuster，Netflix 并 没有 大 量 的 实体 资产 ， 但 这 并 不 妨碍 Netflix 
公司 的 业务 持续 增长 。 虽 然 Netflix 专 注 于 数字 资产 ， 但 是 他 们 不 愿意 购买 自己 的 服务 器 ， 而 是 选择 把 软件 直接 部 署 在 AWS 云 平台 上 。 随 着 网 络 带宽 的 不 断 提 高 ，Netflix 又 推出 了 网 络 视频 点 播 的 功能 。 到 
2010 年 9 月 ，Blockbuster 宣 布 破产 ， 但 是 Netflix 的 步伐 并 没有 停止 。 赁 借 积累 的 用 户 在 影视 偏好 方面 的 数据 ，Netlifix 开 始 进入 影视 制作 行业 。 其 最 著名 的 案例 是 电视 剧 《 纸 牌 屋 》 (House of Cards) 的 
播 出 。 由 于 Netflix 掌 握 丰 富 的 用 户 影视 喜好 数据 ， 通 过 大 量 的 分 析 ， 给 出 了 从 剧本 选择 、 导 演 和 演员 的 选择 、 拍 报 和 后 期 制作 ， 乃 至 播 出 时 间 和 营销 全 方位 的 有 效 决策 。 相 比 传统 的 影视 企业 ，Netflix 因 为 
数据 和 软件 的 原因 继续 保持 优势 。 


读 到 这 里 ， 读 者 如 果 把 自己 置身 在 传统 影视 行业 的 领导 者 的 位 置 ， 便 可 切身 感受 到 建立 在 第 三 代 平 台 的 数字 化 新 兴 企业 所 承受 的 压力 。 如 果 是 上 市 企业 ， 必 须要 提出 相应 的 数字 化 战略 来 回应 投资 人 的 
疑问 。 然 而 ， 现 在 依然 有 很 多 行业 和 企业 并 没有 太 多 软件 开发 和 大 数据 分 析 的 经 验 ， 它 们 应 该 如 何 进入 数字 化 世界 ”利用 云 基础 设施 是 当前 非常 不 错 的 选择 ， 但 是 现 有 的 类 似 于 AWS 的 云 基础 设施 对 于 传统 
企业 ， 门 槛 还 是 略 高 。 所 以 ，Pivotal 公 司 提出 了 基于 Cloud Foundry 的 PaaS 云 平台 ， 内 含 Pivotal 的 大 数据 套件 和 现代 软件 开发 框架 ， 可 以 帮助 传统 企业 以 Pivotal 的 极限 软件 开发 方式 和 较 低 的 技术 门槛 完 
成 数字 化 转型 ， 从 而 应 对 新 一 轮 的 挑战 。 本 书后 面 的 章节 会 解释 Pivotal 提 出 Paas 云 的 战略 考虑 ， 以 及 相关 的 技术 实施 。 在 此 之 前 ， 我 们 需要 先 纵览 下 云 计 算 发 展 的 历程 ， 判 断 在 商业 数字 化 浪潮 的 今 
天 ，PaaS 云 技术 面临 的 机 遇 和 挑战 。 
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简单 的 语言 讲 清楚 一 个 看 似 高 深 的 科技 领域 非常 有 难度 ， 对 云 计 算 更 是 如 此 。 下 面 用 一 句 话 来 解释 什么 是 云 计 算 。 


云 计 算 : 计算 资源 可 以 随 着 计算 业务 的 增长 需求 而 弹性 增长 的 基础 设施 。 


围绕 这 句 话 ， 我 们 可 以 进行 简单 推导 ， 从 而 得 出 一 些 比较 有 意思 的 推论 。 


推论 1: 计算 资源 可 以 随 着 计算 业务 的 减少 而 释放 。 


推论 1 不 难 理解 ， 其 实 就 是 定义 的 反 向 表述 ， 这 也 是 成 立 的 。 根 据 云 计算 的 定义 和 推论 1， 我 们 可 以 得 出 一 个 更 有 意思 的 推论 2。 


推论 2: 软件 (计算 业务 ) 可 以 独立 于 硬件 (计算 资源 ) 


我 们 可 以 用 如 图 1-6 所 示 的 例子 来 说 明 推论 2， 这 里 我 们 暂时 不 关心 技术 上 如 何 实现 。 假 设 原来 的 计算 业务 需要 服务 器 A 和 服务 器 B， 现 在 因为 计算 高 峰 期 而 使 计算 业务 量 扩大 1 倍 ， 按 照 定义 ， 云 计算 可 
以 使 计算 资源 弹性 增长 ， 系 统计 算 业务 引入 服务 器 C 和 D。 后 来 高 峰 期 结束 ， 计 算 业 务 需求 降 为 原来 的 1/2， 这 样 云 计 算 系 统 会 释放 1/2 的 计算 资源 。 如 果 服 务 器 A 和 B 被 释放 ， 那 么 软件 就 运行 在 服务 器 C 和 D 
上 。 这 等 同 于 计算 业务 从 原来 的 服务 器 A 和 B 迁 移 到 了 服务 器 C 和 D， 所 以 软件 系统 不 依赖 于 特定 的 硬件 资源 。 


服务 器 A、B SS 


服务 器 A、B、C、D 


图 1-6 云 计 算 软 件 业务 独立 于 硬件 


有 意思 的 推论 ， 但 是 技术 上 如 何 做 到 这 一 点 ?为 了 达到 这 个 设计 目标 ， 云 计算 中 的 软件 栈 大 体 分 成 如 图 1-7 所 示 的 三 层 : laas (也 叫 | 


» 


Horas C. D 


虽然 云 计算 有 很 多 种 实现 方法 ， 但 是 都 离 不 开 推论 2 这 个 本 质 。 软 硬件 独立 是 云 计算 中 的 关键 问题 ， 如 果 把 信息 世界 比 作 人 ， 软 硬件 独立 就 像 人 的 意识 可 以 独立 于 人 的 身体 。 我 们 从 云 计 算 的 表述 导出 了 


层 云 ) PaaS (也 叫 P 层 云 ) 和 SaaS (也 叫 S 层 云 ) 。 


SaaS (Software as a Service) 


PaaS (Platform as a Service) 


laaS (Infrastructure as a Service) 


图 1-7 云 计 算 软 件 的 分 层 


1) Bz (Infrastructure as a Service, laaS) 意 为 硬件 设施 即 服务 ，| 层 云 的 主要 代表 为 亚马逊 的 AWS 云 和 阿里 云 。 


2) P 层 云 (Platform as a Service, PaaS) 意 为 平台 即 服 务 ，P 层 云 是 新 型 市 场 ， 企 业 版 本 的 P 层 云 的 代表 是 Pivotal 的 Cloud Foundry， 即 本 书 将 讨论 的 技术 。 截 至 本 书 完稿 时 ，P 层 公有 云 的 市 场 竞争 


格局 还 没有 | 层 云 那么 明朗 ， 几 个 美国 的 互联 网 大 鲜 对 P 层 云 都 处 于 探索 阶段 。 


3) SZ (Software as a Service, SaaS) 意 为 软件 即 服 务 。 在 美 
云 ， 并 着 重 推理 P 层 云 存 在 的 必要 性 。 


H 
n 


1.23 | 层 云 


层 云 的 典型 代表 是 Salesforce 的 在 线 CRM 系 统 、Google 的 Gmail、Doc 套 件 和 微软 的 Office365 等 。 下 面 我 们 逐一 介绍 各 层 


中 


一 个 事物 在 其 出 现 之 初 通常 很 简单 ， 也 容易 被 理解 和 接受 。2006 年 ， 作 者 刚刚 从 卡 内 基 梅 隆 大 学 (Carnegie Mellon University) 毕业 ， 进 入 硅谷 的 甲骨 文 (Oracle) 公司 服务 器 技术 部 门下 的 网 格 控 
制 (Grid Control) 产品 组 工作 。 我 们 当时 的 工作 目标 就 是 对 计算 资源 进行 分 配 和 监控 。2006 年 ， 云 计算 (Cloud Computing) 这 个 词 不 断 升温 ， 亚 马 逊 在 那 一 年 提出 了 弹性 云 计算 (Elastic 


Computing, EC2) 的 Beta 版 本 ， 将 | 层 云 计 算 落地 。 当 时 ， 我 们 对 业界 计算 资源 调控 方法 进行 跟踪 和 分 析 ， 总 结 了 云 计 算 概念 背后 的 几 种 计算 资源 调控 方法 : 谷歌 的 基于 GFS 和 MapReduce 的 方法 以 及 亚 
马 逊 和 和 VMware 的 基于 虚拟 机 (Virtual Machine) 的 方法 。 


谷歌 的 方法 更 像 为 其 搜索 引 警 服务 ， 后 来 慢 慢 演化 为 大 数据 系统 的 典范 。 亚 马 还 和 VMware 的 方法 看 上 去 更 加 有 计算 的 普 适 性 。 虽 然 VMware 和 亚马逊 在 虚拟 化 领域 创建 了 很 强大 的 技术 ， 但 是 甲骨 文 
公司 对 于 计算 资源 的 调控 更 有 经 验 。 用 电网 打 个 比方 ， 单 个 计算 机 资源 池 可 以 看 作 一 个 电厂 ， 而 整个 计算 资源 的 调度 更 像 电 网 的 调度 。 当 时 对 我 们 来 说 ， 原 来 网 格 控制 是 对 CPU、 内 存 和 存储 分 别 调控 ， 但 
云 控制 只 要 对 一 个 虚拟 机 单位 (CPU、 内 存 和 存储 的 组 合 ) 进行 调控 ， 工 作 简单 了 很 多 。 于 是 大 家 欣然 接受 云 计算 ， 产 品名 字 也 从 网 格 控制 转变 为 云 控制 。 


本 书 着 重 讨论 基于 虚拟 机 的 云 计 算 技 术 ， 因 此 需要 先 谈 谈 什么 是 虚拟 机 。 有 虚拟 机 经 验 的 用 户 可 以 跳 过 这 部 分 。 简 单 来 说 ， 虚 拟 机 就 是 把 用 户 计算 机 上 的 整个 硬盘 数据 当 作 一 个 文件 。 假 设 你 打算 告别 
Windows 和 Linux 转 到 苹果 操作 系统 (Max OS X) ， 由 于 过 渡 阶段 还 需要 不 时 访问 原来 的 两 个 系统 ， 所 以 希望 在 新 的 苹果 计算 机 上 能 打开 这 两 个 操作 系统 。 这 时 就 可 以 利用 虚拟 化 技术 提供 的 P2V 技 术 ， 把 
你 原来 的 Windows 系 统 作为 一 个 文件 〈 例 如 Win.vmwarevm) ， 把 Linux 系 统 当 作 另 一 个 文件 (Linux.vmwarevm) ， 然 后 把 这 两 个 文件 复制 到 Mac OS X 下 。 在 你 的 Mac OS X 上 安装 一 个 类 似 于 VMware 
Fusion 虚 拟 机 运行 软件 ， 就 可 以 打开 这 两 个 文件 。 打 开 后 可 以 看 到 其 界面 和 原来 的 Windows/Linux 操 作 系统 几乎 一 样 。 图 1-8 给 出 了 用 户 在 Mac OS X 上 打开 一 个 Windows 虚 拟 机 的 效果 。 
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图 1-8 Windows 虚 拟 机 运行 在 Mac OS 又 系统 上 的 效果 


在 这 个 例子 中 ， 新 的 Mac OS 叫 作 宿主 机 (Host Machine) ，Windows 和 Linux 叫 做 客户 机 (Guest OS) 。 在 一 个 企业 的 云 计算 环 境 中 ， 为 了 保证 把 硬件 资源 尽 可 能 分 配给 客户 机 ， 一 般 把 宿主 机 载 
剪 到 最 简单 ， 称 为 分 割 器 (Hypervisor) 。 一 个 分 割 器 通常 可 以 支持 多 个 客户 机 运行 。 在 图 1-9 展 现 的 环境 中 ， 一 个 服务 器 安装 了 一 个 分 割 器 ， 在 这 个 分 割 器 上 运行 了 多 个 虚拟 机 。 


虚拟 机 A 虚拟 机 了 虚拟 机 n 
软件 分 割 锅 (Hypervisor ) 


图 1-9 ”一 个 企业 服务 器 安装 分 割 器 以 后 支持 多 个 虚拟 机 
在 介绍 了 虚拟 机 以 后 ， 我 们 现在 看 看 云 计算 是 如 何 衍生 出 来 的 。 虚 拟 机 的 好 处 是 可 以 把 它 看 成 一 个 文件 ， 作 为 一 个 文件 ， 它 就 可 以 被 复制 。 例 如 ， 我 们 上 面 说 到 的 文件 win.vmwarevm 可 以 被 复制 成 
win1.vmwarevm、win2.vmwarevm.….. 每 个 文件 在 分 割 器 上 运行 后 ， 对 用 户 呈 现 出 几乎 一 样 的 Windows 系 统 ， 只 是 细微 之 处 会 有 差异 ， 例 如 以 太 网 地 址 。 随 着 业务 的 增长 ， 我 们 复制 出 来 的 虚拟 机 越 来 越 
多 。 更 多 的 虚拟 机 分 享 分 割 器 下 的 同一 个 硬件 环境 ， 每 个 虚拟 机 获得 的 资源 平均 而 言 就 会 减少 ， 虚 拟 机 的 性 能 就 会 下 降 ， 这 个 时 候 我 们 希望 安装 更 多 的 服务 器 组 成 一 个 资源 池 集群 。 图 
池 集 群 的 小 型 | 层 云 计算 机 服务 。 


1-10 是 带 有 两 个 资源 
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一 句 话 : 云 计算 是 管理 和 调度 虚拟 机 的 系统 


图 1-10 ” 带 有 两 个 资源 池 集 群 的 云 计算 机 服务 
在 这 个 | 层 云 计算 机 中 心中 ， 需 要 解决 以 下 几 个 问题 : 


1) 我 们 怎么 让 一 个 虚拟 机 文件 快速 地 在 任何 一 个 物理 服务 器 的 分 割 器 上 运行 ? 


2) 如 果 一 个 集群 中 的 某 个 服务 器 发 生 故 障 ， 如 何 保证 虚拟 机 可 以 转 到 另外 一 个 分 割 器 ? 
3) 我 们 如 何 决定 哪个 虚拟 机 运行 在 哪个 服务 器 ? 原则 是 什么 ? 目标 是 什么 ? 


对 于 问题 1， 读 者 不 需要 太 多 的 计算 机 知识 也 可 以 想到 把 虚拟 机 文件 放 在 共享 存储 里 面 ， 把 虚拟 机 文件 挂 载 到 任何 一 个 分 割 器 上 就 可 以 解决 问题 。 共 享 存储 怎么 保证 里 面 的 虚拟 机 文件 可 靠 地 挂 载 到 任何 
一 个 服务 器 上 ? 这 又 是 一 个 非常 大 的 课题 ， 易 安信 (EMC， 也 是 Pivotal 和 VMware 的 投资 公司 ) 已 经 提供 出 完整 的 方案 ,我 们 在 这 里 不 作 讨 论 。 有 了 问题 1 的 解决 方法 ， 问 题 2 就 迎刃而解 。 由 于 一 个 集群 中 
的 所 有 服务 器 都 能 访问 共享 存储 里 面 的 虚拟 机 文件 ， 如 果 一 个 分 割 器 下 的 物理 硬件 被 损坏 ， 我 们 可 以 把 虚拟 机 文件 挂 载 到 另外 一 个 物理 服务 器 的 分 割 器 上 。 在 解决 问题 2 的 过 程 中 ， 我 们 不 会 人 工 进 行 切 换 ， 
所 以 需要 引入 管理 服务 器 。 我 们 再 看 管理 服务 器 如 何 解决 问题 3。 每 个 分 隔 器 都 有 一 个 通信 接口 ， 服 从 管理 系统 的 指挥 调度 。 管 理 服务 器 的 算法 决定 了 调度 原则 。 管 理 服务 器 的 设计 目标 是 保证 计算 机 硬件 资 
源 的 最 大 化 利用 和 用 户 服务 的 稳定 。 例 如 ， 假 设 第 一 个 资源 池 中 第 一 台 服 务 器 的 分 割 器 运行 了 一 个 Linux1 和 Windows1， 第 二 台 服 务 器 运行 了 一 个 Linux2 虚 拟 机 ， 第 三 台 服 务 器 运行 了 一 个 Windows2。 如 
果 Linux1 和 Windows1 的 运算 非常 繁忙 ，Windows2 非 常 空 油 ， 这 时 管理 服务 器 就 可 以 把 Windows1 从 第 一 台 服务 器 挂 载 到 第 三 台 服 务 器 。 假 设 数据 中 心 的 管理 员 在 第 一 个 资源 池 插入 第 四 台 服 务 器 的 时 
候 ， 管 理 服务 器 会 在 第 四 台 服 务 器 安装 分 割 器 ， 然 后 把 Windows2 迁 移 到 第 四 台 服 务 器 。 当 数据 中 心 的 虚拟 机 越 来 越 多 的 时 候 ， 管 理 员 只 需要 插入 服务 器 ， 管 理 服务 器 会 自动 将 虚拟 机 迁移 到 新 插入 的 服务 
器 上 运行 以 达到 每 个 服务 器 负载 的 最 佳 分 配 。 每 个 集群 的 设计 容量 有 限 ， 当 需求 不 断 增 加 时 ， 我 们 就 可 以 引入 更 多 的 集群 来 不 断 拓展 计算 资源 ， 云 计算 中 心 的 规模 也 随 之 不 断 扩大 。 


上 面 剖析 了 一 个 简单 的 | 层 云 计算 中 心 ， 当 然 ， 设 计 一 个 真实 的 I 层 云 计算 中 心 会 更 加 复杂 ， 但 是 其 原理 基本 符合 前 面 的 介绍 ， 这 并 不 难 理解 。 至 此 ， 读 者 会 发 现 ，| 层 云 计算 中 心 极 大 地 方便 了 数据 中 心 
的 管理 员 ， 但 是 对 于 开发 人 员 而 言 ，| 层 云 上 的 虚拟 机 开发 软件 与 早 些 年 在 托管 于 IDC 数 据 中 心 的 硬件 服务 器 上 开发 应 用 相 比 ， 并 没有 太 大 差别 。 如 果 开 发 人 员 不 懂得 设计 弹性 的 Saas 应 用 ，| 层 云 本 身 并 不 会 
自动 帮助 开发 人 员 实 现 ， 而 P 层 云 的 引入 则 可 以 帮助 普通 开发 人 员 自 动 实现 有 弹性 的 SaaS 应 用 。 为 了 理解 P 层 云 如 何 做 到 这 一 点 ， 我 们 先 来 看 开发 一 个 弹性 的 SaaS 应 用 有 哪些 挑战 。 


1.2.2 SEzx 


S 层 云 是 通过 软件 即 服务 的 方式 满足 用 户 需求 的 。 从 用 户 的 角度 来 看 ， 不 需要 安装 服务 器 端 软件 ， 在 手机 APP 或 者 浏览 器 里 面 就 能 使 用 软件 ， 典 型 应 用 是 云 邮箱 。 用 户 可 以 在 手机 APP 或 者 浏览 器 里 面 收 
发 电子 邮件 ， 而 不 需要 担心 邮箱 数据 、 通 信 录 的 备份 等 。 是 不 是 所 有 基于 B/S (浏览 器 /服务 器 ) 结构 的 APP 都 是 SaaS 云 服务 呢 ? 要 回答 这 个 问题 还 是 要 回 到 云 计算 的 定义 : “计算 资源 随 着 计算 业务 的 需求 
增长 可 以 弹性 增长 。” 举 个 例子 ， 当 APP 支 持 的 在 线 用 户 数量 从 1 于 增长 到 1 万 再 到 10 万 的 时 候 ， 软 件 是 否 能 自动 申请 硬件 资源 来 满足 用 户 数量 的 几何 式 增长 ”这 听 上 去 容易 ， 很 多 非 技术 出 身 的 企业 家 也 是 
在 遭遇 失败 后 才 发 现 自己 极 大 地 低估 了 直接 在 |I 层 云 上 开发 Saas 应 用 的 成 本 和 时 间 。 可 以 学 习 Netflix 公 司 用 混沌 猴子 来 检验 自己 的 B/S 应 用 是 否 达到 Saas 级 的 方式 ， 在 产品 环境 中 拔 掉 几 根 服务 器 的 网 线 或 者 
重启 几 个 虚拟 机 ， 看 应 用 是 否 可 以 正常 运行 。 如 果 服 务 出 现 问题 ， 意 味 着 系统 依赖 于 那 几 个 脱离 系统 的 服务 器 ， 业 务 就 无 法 实现 弹性 增长 。 那 么 如 何 设计 一 个 真正 的 SaaS 的 服务 呢 ?12factornet 网 站 给 出 
了 一 个 SaaS 应 用 应 该 满足 的 12 项 准则 ， 其 中 的 几 个 准则 对 软件 工程 师 设计 水 平 的 要 求 是 非常 高 的 。 我 们 以 简单 的 一 个 日 志 准 则 为 例 ， 因 为 在 任何 一 个 服务 器 宕 机 时 系统 日 志 不 能 丢失 ， 这 就 意味 着 工程 师 不 
能 在 服务 器 本 地 写 日 志 ， 这 对 于 单机 写 B/S 应 用 的 工程 师 明显 是 个 新 的 要 求 。 即 使 是 高 水 平 的 S 层 云 开发 团队 ， 虽 然 他 们 不 需要 在 P 层 云 上 开发 一 个 满足 全 部 12 项 准则 的 S 层 云 APP， 也 需要 花费 大 量 时 间 来 搭 
建 框架 和 设施 ， 这 些 工 作对 于 大 部 分 S 层 云 团队 而 言 是 重复 性 工作 。 在 软件 世界 ， 只 要 有 重复 性 和 低 效率 工作 ， 就 有 一 个 软件 需求 ， 这 就 引出 了 P 层 云 的 市 场 需求 。 


1.2.3 PRA 


顾名思义 ，P 层 云 就 是 平台 即 服务 ， 它 的 用 户 是 软件 开发 人 员 。 它 在 | 层 云 上 提供 一 个 平台 ， 使 得 在 其 上 面 开发 的 服务 器 端 应 用 自动 成 为 aaS。P 层 云 极 大 地 降低 了 SaaS 应 有 
率 。 根 据 前 面 的 讨论 ， 我 们 不 难 分 析出 P 层 云 的 设计 目标 : 


Inm 


IFR Wi bees TARN 


- 它 可 以 运行 在 各 个 I 层 云 上 ， 例 如 微软 的 Azure、 亚 马 逊 的 AWS、 开 源 的 OpenStack 和 私有 云 VSphere 等 。 这 样 P 层 云 就 有 一 定 的 独立 性 ， 开 发 人 员 只 要 熟悉 一 个 P 层 平台 ， 就 能 落地 到 各 个 厂商 的 I 层 云 。 


“ 它 应 该 有 一 个 可 以 伸缩 的 大 数据 套件 ， 以 支持 现代 应 用 的 大 数据 需求 。 现 在 很 多 应 用 是 数据 驱动 的 ， 也 就 是 先 有 数据 再 做 数据 分 析 ， 根 据 分 析 结论 来 开发 应 用 。 从 数据 到 分 析 再 到 应 用 敏捷 和 迭代， 这 
个 话题 我 们 将 在 后 续 著作 讨论 。 这 是 Pivotal 的 大 数据 套件 的 另外 一 个 设计 目标 。 


“ 它 应 该 支持 各 种 服务 器 端的 应 用 开发 的 主流 语言 和 运行 环境 ,例如 Java、Ruby 和 Go 等 高 级 语言 以 及 像 Docker 这 样 的 容器 型 运行 环境 。 如果 容器 的 颗粒 比 虚 拟 机 更 小 ， 它 更 容易 适 配 于 各 个 I[ 层 云 。 各 个 
厂商 的 I 层 云 虽 然 不 尽 相同 ,但 是 他 们 提供 的 虚拟 机 服务 还 是 以 标准 的 操作 系统 (Linux 和 Windows) 来 交付 的 。 


“ 它 应 该 尽 可 能 满足 前 述 SaaS 层 APP 开 发 的 12 项 要 求 ， 帮 助 开发 人 员 屏 蔽 底层 I 层 云 的 细节 。 开 发 人 员 只 要 按照 P 层 云 的 规则 开发 应 用 ， 他 们 就 能 得 到 弹性 的 SaaS 层 应 用 。 


Paas 的 流行 相对 于 laaS 和 SaaS 要 晚 一 些 。 截 至 本 书 完稿 时 ， 所 有 的 产品 战略 人 员 和 资本 市 场 分 析 人 员 都 在 问 同样 的 问题 : PaaS 会 不 会 成 为 云 计算 的 下 一 个 风口 ? 对 于 是 否 应 该 创建 一 个 P 层 云 产品 ， 产 
品 战略 决策 者 基于 下 面 几 个 方面 的 判断 给 出 了 答案 。 


1) 趋势 : 它 是 否 代 表 未 来 ”趋势 通常 有 渐进 式 演进 和 突破 式 演进 两 类 结果 。 对 于 渐进 式 演进 的 趋势 ， 通 常 是 现 有 竞争 格局 下 的 行业 领导 者 占有 绝对 优势 。 而 对 于 突破 式 演进 ， 最 先 察觉 到 商机 的 企业 通 
常会 获得 竞争 优势 。 如 果 我 们 对 趋势 的 判断 正确 ， 即 使 执行 一 般 ， 也 会 有 不 错 的 结果 。 如 果 我 们 对 趋势 判断 错误 ， 即 使 执行 得 很 好 ， 结 果 也 不 会 太 好 。 通 常 的 做 法 是 尝试 对 未 来 5 年 进行 前 景 想象 ， 然 后 决定 
今天 是 否 应 该 起 步 。 


2) 时 机 : 对 一 个 新 产品 的 投入 要 平衡 远近 。 在 趋势 判断 正确 的 情况 下 ， 如 果 布 局 太 早 ， 可 能 在 最 终 市 场 发 展 起 来 之 前 由 于 资金 匮乏 而 倒 在 黎明 到 来 之 前 。 如 果 布 局 太 晚 ， 市 场 竞争 格局 已 经 建立 ， 用 户 
已 经 接受 主流 厂商 ， 同 样 会 面临 失败 的 结局 。 


3) 基因 : 产品 战略 要 符合 公司 的 优势 和 体 量 。 优 势 不 难 理解 ， 这 里 特别 要 谈 一 下 体 量 。 对 于 500 强 企业 ， 投 资 者 会 要 求 一 个 足够 大 的 TAM (Total Addressable Market) 来 满足 公司 发 展 的 要 求 ， 所 
以 大 公司 必须 要 在 比较 大 的 机 会 上 布局 ， 也 更 加 容易 成 功 。 反 之 ， 如 果 一 个 创业 公司 最 初 就 布局 在 500 强 公司 看 得 到 的 大 市 场 ， 多 半 会 因为 没有 足够 多 的 资源 竞争 而 导致 失败 。 所 以 小 公司 在 看 到 趋势 后 ， 
需要 找到 适合 自己 的 切入 点 ， 侧 面 切入 到 这 个 大 市 场 。 


从 趋势 上 看 ，P 层 云 使 云 计算 技术 平民 化 ， 并 提高 了 开发 效能 ， 完 全 顺应 了 未 来 软件 开发 的 潮流 。 


(1) 平民 化 


作者 在 2009 年 底 离开 甲骨 文公 司 的 时 候 一 度 认为 云 计算 的 竞争 格局 已 经 完成 ， 所 以 投身 到 大 数据 领域 。 但 是 大 数据 和 云 计 算 都 遇 到 了 同一 个 瓶颈 : 平民 化 。 现 在 能 够 驾驭 大 数据 和 云 计算 的 技术 人 员 和 
企业 还 是 少数 。 一 方面 ， 非 技术 类 的 企业 有 应 用 云 计 算 转 型 的 需求 ， 但 没有 很 强 的 技术 团队 来 实现 ; 另 一 方面 ， 未 来 的 编程 会 下 沉 到 中 学 甚至 小 学 教育 阶段 ， 云 平台 需要 平民 化 到 中 学 生 都 可 以 在 其 上 开发 
出 S 层 云 APP 的 程度 。 当 前 的 云 计算 还 远 远 不 能 满足 这 样 的 需求 。 


(2) 开发 的 高 效 性 


有 不 少 朋 友 认 为 ， 现 在 高 水 平 的 S 层 云 应 用 开发 人 员 还 是 有 一 些 ， 他 们 可 以 直接 在 | 层 云 上 开发 层 云 APP， 因 此 没 必要 创造 P 层 云 产 品 。 但 是 ， 就 像 单机 时 代 的 应 用 开发 ， 虽 然 高 水 平 的 计算 机 科学 家 可 
以 在 硬件 上 直接 用 机 器 汇编 语言 开发 出 一 个 好 的 应 用 ， 但 是 这 要 花费 他 几 年 到 几 十 年 的 时 间 ， 远 远 不 如 基于 现成 的 工具 开发 应 用 。 同 理 ， 在 云 计算 时 代 ， 基 于 PaaS 开 发 的 效率 会 更 高 。 另 外 ，S 层 云 的 商业 
模型 是 建立 在 用 户 需求 的 快速 响应 上 面 ， 市 场 也 不 允许 一 个 S 层 云 开发 团队 花费 太 多 精力 从 头 搭建 类 似 于 P 层 云 的 框架 和 设施 。 


《跨越 鸿沟 》 一 书 对 于 技术 对 于 新 兴 技 术 市 场 扩展 有 很 好 描述 。 一 个 新 型 技术 产品 的 用 户 群 推广 分 成 四 个 阶段 : 技术 粉 及 视野 家 、 实 用 派 、 保 守 派 和 怀疑 派 。 很 多 新 技术 产品 在 技术 粉 和 视野 家 圈 内 最 
终 没有 推广 到 实用 派 ， 这 个 现象 被 认为 技术 没有 跨越 鸿沟 ， 例 如 红 极 一 时 的 摩托 罗拉 久 星 计划 。 久 星 计划 尝试 用 66 颗 卫星 覆盖 地 球 无 线 通 信 ， 但 实际 上 大 部 分 用 户 使 用 基站 无 线 通信 ， 此 项 技术 最 终 没有 走 
向 大 众 ， 久 星 公司 在 1999 年 宣布 破产 。 所 以 ， 战 略 决策 者 面临 的 难题 是 必须 在 一 个 新 技术 够 跨越 鸿沟 前 完成 布局 。 如 果 在 市 场 上 ， 技 术 已 经 跨越 了 鸿沟 ， 产 品 已 经 为 主流 实用 派 接 受 ， 这 个 时 候 市 场 领导 者 
已 经 建立 ， 再 进入 市 场 就 非常 困难 。 而 在 产品 跨越 鸿沟 之 前 进行 投入 ， 就 需 承 担 产 品 无 法 跨越 鸿沟 的 风险 ， 所 以 决策 者 需要 在 逻辑 上 续 密 地 推 襄 一 个 新 型 技术 是 否 可 以 跨越 汐 沟 。 作 者 认为 ， 从 前 面 讨论 可 
以 推断 出 ，P 层 云 可 以 走向 实用 派 。 严 格 来 说 ， 一 个 S 层 应 用 无 非 是 有 意识 地 使 用 了 一 个 P 层 云 产 品 ， 或 者 不 自觉 地 重新 写 了 大 部 分 的 P 层 云 功 能 。 截 至 本 书 完稿 时 ， 微 软 投 资 了 Pivotal 公 司 以 在 Azure 云 (I 
层 云 ) 上 拥抱 Cloud Foundry (PEZ) ， 谷 歌 也 宣布 成 为 Cloud Foundry 基 金 会 成 员 。 阿 里 巴巴 也 宣布 了 和 Docker 的 合作 ， 在 阿里 云 上 提供 Docker 服 务 。P 层 云 产品 不 仅 为 互联 网 这 样 的 技术 粉 公司 所 采 
和 提供 ， 也 开始 为 汽车 和 金融 等 稳健 型 客户 所 采用 。 


2 


zl 


| 层 云 在 今天 看 来 已 经 获得 了 巨大 的 成 功 ，AWS 云 给 亚马逊 、Azure 云 给 微软 、 阿 里 云 给 阿里 巴巴 都 带 来 了 巨大 的 价值 提升 。 罗 马 帝国 并 非 一 日 建成 ， 这 些 企业 的 成 功 不 仅 依靠 他 们 巨大 的 投入 ， 还 有 赖 
于 他 们 能 够 在 质疑 声 下 承担 亏损 并 坚持 不 懈 。 根 据 前 面 的 讨论 ，P 层 云 或 将 是 云 计算 的 下 一 个 浪潮 ， 这 样 巨大 的 市 场 机 会 势必 3 引 来 各 大 技术 公司 的 关注 ， 但 是 哪些 技术 公司 的 基因 能 更 好 地 拥抱 这 样 的 机 会 ? 
为 巨 鳄 进入 ， 意 味 着 广大 创业 公司 需要 从 更 细微 的 角度 切入 这 个 市 场 ， 而 不 是 架设 一 个 面面俱到 的 PaaS 云 产品 。 但 是 对 于 技术 巨 鳄 公司 而 言 ，P 层 云 却 又 是 一 个 新 兴 市 场 。 这 意味 着 需要 很 长 时 间 的 投 
入 ， 而 回报 却 会 很 少 ， 甚 至 不 确定 未 来 有 巨大 回报 。 更 有 挑战 的 是 ， 大 公司 进入 P 层 云 可 能 要 求 他 们 放弃 一 些 现 有 产品 的 利润 ， 这 种 场景 又 非常 符合 《创新 者 的 窘境 》 描 述 的 突破 性 创新 场景 ， 大 公司 需要 成 
立 独 立 的 机 构 来 追逐 这 样 的 机 会 。 目 前 ，P 层 云 的 主要 提供 商 包 括 Pivotal、GE 的 Predix 软 件 、IBM BlueMix、 谷 歌 AppEngine 等 。 其 中 Pivotal 公 司 是 在 VMWmare 和 EMC 公 司 的 基础 上 组 建 的 新 兴 公 

司 ，Predix 软 件 是 GE Digital 下 新 兴 机 构 ， 这 也 印证 了 上 述 的 论点 。 


13 “P 层 云 计算 和 数字 化 变革 


如 果 云 计算 只 是 一 个 新 兴 技 术 ， 那 么 除了 行业 内 玩家 ， 吃 瓜 群 众 没 有 什么 值得 兴奋 的 。 在 作者 眼中 ， 云 计算 带 来 的 将 是 一 个 新 的 数字 世界 ， 而 这 个 数字 世界 现在 如 同 冰山 一 角 ， 刚 刚 浮 出 水 面 。 云 计算 
将 托 起 大 数据 并 延伸 到 人 工 智能 ， 从 而 使 得 科幻 电影 《西部 世界 》 中 描述 的 场景 成 为 可 能 ， 所 以 ， 作 者 从 2006 年 自 卡 内 基 ` 梅 隆 大 学 毕业 进入 甲骨 文公 司 从 事 云 计算 工作 至 今 ， 仍 觉 云 计 算 才刚 刚 起 步 。 著 名 
投资 人 孙 正 义 在 《向 世界 挑战 》 一 文中 提 到 : 要 么 数码 化 要 么 灭亡 ， 他 把 眼光 放 到 30 年 以 后 ， 指 出 云 会 成 为 人 类 最 大 的 资产 。 确 实 ， 我 们 需要 从 云 计算 的 起 源 并 从 未 来 数字 世界 回 看 今天 的 云 计算 ， 才 能 真 
正明 白 这 项 新 兴 技 术 的 含义 。 下 面 我 们 先 回顾 数 字 技术 的 起 源 ， 然 后 再 论证 云 计算 和 数字 世界 互 为 作用 、 向 前 发 展 过 程 中 的 机 会 。 


作者 大 学 本 科 的 专业 是 理论 物理 。 从 物理 学 角度 看 ， 我 们 对 世界 的 认识 经 历 了 物质 、 能 量 到 粹 (信息) 三 个 阶段 。 前 面 几 个 世纪 的 科学 发 展 使 得 我 们 对 物质 和 能 量 有 了 充分 认识 ， 爱 因 斯 坦 的 质 能 转变 
方程 和 核能 的 验证 更 将 工业 革命 带 入 高 潮 。 伴 随 19 世 纪 工 业 革 命 的 进展 ， 物 理学 的 统计 热力 学 长 足 发 展 ， 供 生 了 灼 概念 ， 把 我 们 带 入 信息 论 和 量子 力学 的 现代 信息 世界 。 麦 克 斯 书 (Maxwell) 的 麦克 斯 
韦 妖 思想 实验 和 西 拉 德 (Szilard) 的 西 拉 德 思想 实验 发 现 了 信息 和 业 的 关系 。 信 息 业 和 物理 学 灶 的 相似 性 和 关联 性 可 以 参考 信息 论 科 学 家 香农 (Shannon) 回忆 他 和 数学 家 、 物 理学 家 及 计算 机 科学 家 冯 诺 
伊 曼 (Von Neumann) 的 一 段 对 话 : 


| thought of calling it “information” ,but the word was overly used,so | decided to call it “uncertainty” .[http://www.hzcourse.com/resource/readBook? 
path-/openresources/teach ebook/uncompressed/16515/OEBPS/Text/...]|Von Neumann told me, "You should call it entropy,for two reasons.In the first place your uncertainty function has 
been used in statistical mechanics under that name,so it already has a name.In the second place,and more important,nobody knows what entropy really is,so in a debate you will always 


have the advantage." 
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念 ， 而 “信息 ”这 个 词 在 香农 看 来 已 经 被 过 度 使 用 。 


这 里 之 所 以 提 到 物理 学 精 和 信息 理论 的 发 展 ， 只 是 强调 即便 在 计算 机 发 明之 前 ， 业 和 信息 已 经 是 现代 科学 的 重要 线索 。 要 认 知 这 个 世界 ， 信 息 相 比 物质 和 能 量 可 能 更 具有 哲学 意义 。 先 锋 物 理学 家 
James Jeans 曾 说 过 : “与 其 说 这 个 宇宙 是 一 个 精密 的 机 器 ， 不 如 说 这 个 宇 台 看 上 去 更 像 一 个 伟大 思想 。” 在 当前 的 数字 化 的 世界 里 ， 我 们 更 加 容易 理解 james Jeans 所 设想 的 愿景 。 与 10 年 前 相 比 ， 我 
们 每 天 通过 形形色色 的 电子 设备 、 软 件 等 进行 信息 交互 ， 大 部 分 的 工作 和 生活 场景 都 已 经 被 数字 化 。10 年 之 后 ， 随 着 虚拟 现实 技术 不 断 延 伸 至 神经 系统 的 高 端 ，James Jeans 所 想象 的 世界 也 许 就 会 成 为 现 
实 。 信 息 理论 的 发 展 不 仅 会 改变 我 们 的 生活 方式 ， 也 会 加 深 我 们 对 这 个 世界 的 理解 和 认识 。 


前 面 的 讨论 可 以 理解 为 工业 世界 建立 在 对 能 量 (包括 核能 ) 的 认识 基础 上 ， 而 数字 世界 建立 在 对 信息 的 认识 基础 上 。 人 类 从 农业 社会 进入 工业 世界 产生 了 翻天 覆 地 的 变化 ， 而 人 类 从 工业 世界 进入 数字 
世界 产生 的 变化 更 大 。 人 类 社会 正 以 前 所 未 有 的 速度 在 创建 数据 和 使 用 数据 ， 虚 拟 现实 (VR) 和 增强 现实 (AR) 等 新 型 人 机 交互 技术 使 人 类 可 以 更 加 直观 地 沉浸 在 数字 世界 。 人 类 社会 进入 数字 化 世界 的 进 
旦 会 影响 到 所 有 普通 百姓 。 从 国家 层面 上 看 ,数字 变革 将 给 国家 发 展 带 来 前 所 未 有 的 机 遇 。 对 于 产业 领袖 ， 更 加 需要 清晰 的 头脑 来 拥抱 数字 化 变革 。 


从 落地 层面 上 看 ， 产 业 领 袖 既 要 有 长 远 的 战略 眼光 ， 又 要 避免 短期 过 度 投资 造成 泡沫 。Garnter 的 技术 成 熟 度 曲 线 (如 图 1-11 所 示 ) 有 很 好 的 参考 意义 ， 它 认为 新 型 技术 普遍 会 经 历 科技 诞生 的 促 动 期 
(Technology Trigger) 、 过 高 期 望 的 峰值 (Peak of Inflated Expectations) 、 泡 沫 化 的 底 谷 期 (Trough of Disillusionment) 、 稳 步 聆 升 的 光明 期 (Slope of Enlightenment) 和 实质 生产 的 高 原 期 
(Plateau of Productivity) 。 下 一 章 我 们 将 结合 Cloud Foundry 在 汽车 行业 数字 化 方面 的 案例 ， 来 说 明 相 对 稳健 的 行业 用 户 采 用 P 层 云 进行 数 字 变 革 的 逻辑 。 


D 


期 待 值 
被 接受 的 高 增长 阶段 : 
20% ~ 30% 接受 率 
负面 影响 显现 
媒体 宣传 开始 
方法 论 与 实践 的 进步 
一 代 产 各 sz: I ^ 
Mam. A 多 为 定 
制 需求 : 代 产 品 ， 可 直接 
使 用 ， 产 品 包 
第 二 代 产 品 ， 伴 随 些 许 服务 


技术 萌芽 期 期 望 膨胀 期 ”泡沫 化 的 谷底 期 稳步 候 升 的 光明 期 实质 生产 的 高 


时 间 


图 1-11 Gartneri RARE HA (RIB: https://zh.wikipedia.org/wiki/ 技 术 成 熟 度 曲线 ) 


第 2 章 ”数字 化 转型 第 一 步 : 选择 PaaS 云 平台 


条 期 


在 第 1 章 ， 我 们 剖析 了 数字 化 技术 和 数字 化 商业 模式 的 互动 ， 这 种 互动 带 来 的 结果 是 使 我 们 快速 进入 PaaS 云 时 代 。Paas 云 能 否 如 其 目标 所 述 那样 提供 平民 化 且 高 效 的 数字 化 转型 服务 ”本 章 我 们 将 通过 
汽车 行业 的 案例 来 阐述 传统 行业 如 何 借助 Paas 云 进行 数字 化 变革 。 需 要 说 明 的 是 ， 虽 然 本 章 给 出 的 是 汽车 行业 的 案例 ， 但 给 出 的 综合 、 分 析 已 有 信息 做 出 战略 决策 的 方法 是 所 有 传统 行业 和 企业 都 适用 的 。 


2015 年 下 半年 ， 美 国 三 大 汽车 厂商 之 一 的 福特 (Ford) 汽车 宣布 与 Pivotal 展 开 全 面 合作 ， 以 帮助 Ford 公 司 进 行 数 字 化 转型 。 几 乎 是 同时 ， 德 国 知名 汽车 厂商 奔驰 (Mercedes-Benz) 
(BMW) 公司 也 与 Pivotal 公 司 展开 了 软件 开发 合作 。 这 些 企业 的 数字 变革 将 借助 Pivotal 的 PaaS 云 平台 一 一 Cloud Foundry 来 完成 。 


公司 和 宝马 


传统 行业 或 企业 要 进行 的 数字 化 转型 和 行业 趋势 、 企 业 的 转型 策略 、 目 标 、 转 型 路 径 息息相关 ， 进 而 影响 数字 平台 选择 、 团 队 组 建 等 方面 的 决策 。 我 们 将 在 后 面 的 内 容 中 ， 以 汽车 行业 为 例 剖 析 如 何 从 


行业 趋势 和 企业 需求 出 发 制定 转型 战略 ， 选 择 数 字 平 台 、 组 建 开 发 团队 等 。 


之 所 以 先 介绍 这 些 内 容 ， 是 因为 大 部 分 IT 项 目的 失败 通常 不 全 是 技术 造成 的 ， 而 是 战略 层 对 于 产品 的 理念 把 握 不 准 而 在 执行 的 过 程 中 反复 摇摆 ， 最 终 造成 项 目 失败 。 所 以 ， 在 介绍 技术 实现 之 前 ， 我 们 


有 必要 强调 战略 层面 的 一 些 理念 ， 这 些 理念 掌握 得 越 好 ， 驾 驭 技术 环节 也 就 越 轻松 。 我 们 将 从 第 3 章 开 始 结合 代码 介绍 企业 如 何 快速 打通 第 一 个 数字 化 流程 


Cloud Foundry 不 仅 是 一 个 Paas 产 品 ， 而 且 融 合 了 企业 数字 转型 、 精 益 创业 、 极 限 编程 等 诸多 理念 。 为 了 让 Cloud Foundry 的 精益 创业 理念 更 加 精准 ，Pivotal 甚 至 聘请 了 《精益 创业 》 
Ries 加 入 研发 团队 。 接 下 来 我 们 就 详细 介绍 如 何 开 始 企业 的 数字 化 转型 。 


2.1 数字 化 转型 带 来 的 新 需求 


如 果 一 个 行业 企业 只 是 使 用 一 个 软件 或 APP 来 提高 工作 效率 ， 那 就 用 不 着 大 动 干戈 地 架设 | 


一 书 的 作者 Eric 


和 P 层 云 来 运行 一 个 软件 或 APP。 但 是 ， 如 果 行 业 领袖 所 处 行业 的 整个 价值 链 在 数据 化 ， 这 意味 着 价值 链 的 


各 个 环节 都 需要 软件 来 向 用 户 交付 价值 ， 这 个 时 候 就 需要 考虑 架设 一 个 P 层 云 平台 来 降低 开发 门槛 ， 以 提供 高 质量 的 SaaS 软 件 体验 。 各 个 行业 的 数字 化 转型 程度 和 节奏 不 尽 相同 ， 汽 车 行业 一 直 与 信息 技术 
紧密 结合 。 最 近 几 年 ， 汽 车 行业 数字 化 进程 不 断 深入 ， 也 给 汽车 行业 带 来 新 的 需求 和 灵感 。 本 章 以 汽车 行业 为 例 ， 以 居安思危 之 态 穷 举 汽车 行业 的 价值 链 上 可 以 被 数字 化 “短路 ”的 环节 ， 然 后 考虑 如 何在 P 


从 中 获得 更 大 的 收益 。 


层 云 平台 上 快速 交付 数字 化 的 价值 服务 。 只 有 在 这 个 环节 进行 细致 的 思考 ， 才 能 为 落地 P 层 云 和 开发 层 应 用 奠定 思想 基础 。 各 个 行业 领导 者 如 能 掌握 这 样 一 套 思维 ， 将 能 顺利 找到 本 企业 的 数字 化 机 会 ， 并 


奔驰 汽车 公司 互联 主管 Christoph Hartung 在 TU-Automative 2015 的 采访 中 曾 谈 到 : 汽车 行业 正 从 传统 的 价值 链 转向 新 的 数字 价值 链 。 传 统 的 价值 链 把 汽车 当 作 一 个 产品 卖 给 用 户 ， 而 新 的 数字 价值 


链 则 把 汽车 当 作 一 种 端 到 端的 用 户 体验 中 的 一 个 环节 提供 给 用 户 。 这 种 端 到 端的 用 户 体验 是 把 用 户 放 在 体验 的 中 心 ， 不 只 包括 用 户 的 驾驶 体验 ， 也 包括 从 购买 汽车 到 保养 和 维护 汽车 等 全 方位 的 用 户 体验 。 


例如 ， 福 特 汽车 最 近 宣 布 了 FordPass 服 务 战略 。 其 宗旨 就 是 真正 以 用 户 体验 为 中 心 ， 把 福特 汽车 产品 和 服务 无 颖 衔接 起 来 。 例 如 ， 通 过 FordPass 的 APP， 用 户 可 以 管理 自己 的 汽车 信贷 ; 


可 以 使 用 APP 


动态 租赁 停车 位 ， 如 需要 更 多 的 停车 时 间 ， 可 以 通过 手机 延长 租用 时 间 ; 在 使 用 汽车 的 过 程 中 ， 可 以 通过 APP 远 程 启动 发 动机 、 空 调 ; 可 以 通过 APP 直 接 打 开车 门 ， 不 再 担心 忘记 带 车 钥匙 ; 
管理 车 辆 ， 查 看 所 有 的 维修 历史 和 维修 保养 的 提醒 ; 还 可 以 用 APP 看 到 车 辆 的 位 置 ， 这 在 很 多 场景 下 非常 有 用 。 


图 2-1 给 出 了 FordPass 的 APP 界 面 ， 可 以 看 到 ， 其 服务 内 容 非 常 丰富 ， 甚 至 有 些 功 能 对 于 非 福特 用 户 也 可 用 。 


; 可 以 通过 APP 


5 FordPass 


My Vehicles 


ez My Dealer 


[5 My Wallet 


P) Park 


[FC] Ford Credit 


Messages 


图 2-1 FordPass 应 用 的 顶层 功能 


福特 汽车 的 这 一 战略 并 不 是 头脑 一 热 的 决定 ， 而 是 源 于 对 汽车 及 信息 技术 的 掌握 和 对 整个 企业 向 数字 化 转型 的 考量 。 下 面 我 们 会 结合 汽车 行业 的 数字 技术 动态 和 它们 对 企业 数字 战略 的 影响 来 剖析 行业 
痛 点 ， 找 到 数字 化 的 商机 。 


2.1.1 车 联网 


移动 世界 大 会 (MWC) 是 全 球 移动 通信 协会 GSMA) 组 织 的 年 度 大 会 ， 往 年 的 大 会 主题 通常 是 手机 为 主 的 移动 设备 ， 而 2016 年 MWC 的 一 大 亮点 却 是 汽车 联网 。 根 据 GSMA 的 预测 ， 到 2030 年 ， 将 
有 4400 万 辆 联网 的 具有 无 人 驾驶 功能 的 汽车 。 报 道 指出 : “汽车 不 仅 能 与 其 他 汽车 通信 ， 还 能 与 行人 通信 ， 也 会 有 基础 设施 通信 。 汽 车 将 成 为 一 个 移动 通信 平台 。” 


车 联网 使 汽车 成 为 手机 、PC 和 虚拟 现实 (VR/AR) 设备 以 外 的 新 的 互联 网 入 口 。 网 络 入 口 是 一 直 是 互联 网 巨 鳄 的 战略 控制 点 ， 而 品牌 汽车 公司 也 开始 意识 到 他 们 巨大 的 忠实 用 户 群 是 之 前 被 忽略 的 一 项 
要 资产 。 车 联网 为 端 到 端 用 户 体验 的 改善 和 反馈 获取 提供 了 基础 技术 框架 ， 使 得 无 人 驾驶 、 智 能 维护 、 运 输 网 络 (Transportation Network) 和 行程 分 享 (Ride-sharing) 成 为 可 能 。 


中 


知名 汽车 品牌 纷纷 启动 了 车 联网 的 研发 和 实施 。 比 如 ， 奔 驰 公司 奔驰 借助 Cloud Foundry 云 平台 和 Pivotal Labs 极 限 软件 开发 方法 开发 了 车 联网 应 用 “Mercedes Me”。 “Mercedes Me” 通 过 数字 
技术 把 汽车 的 用 户 体验 向 前 推进 了 一 步 ， 比 如 它 的 远程 在 线 服务 可 以 让 用 户 通过 智能 手机 及 APP 查 看 车 辆 信息 和 更 改 车 辆 设置 (图 2-2 给 出 了 奔驰 汽车 APP 的 界面 ) 。 


梅 赛 德 斯 ~ 奔驰 智能 互联 


图 2-2 ”奔驰 智能 互联 手机 应 用 的 界面 图 〈 源 于 奔驰 在 苹果 应 用 商店 的 介绍 ) 


2.1.2 ”运输 网 络 和 行程 共享 


2016 年 上 半年 一 个 爆炸 性 的 新 闻 是 ， 苹 果 公司 (Apple) 以 10 亿 美元 注资 滴 滴 出 行 。 无 独 有 偶 ，2016 年 年 初 ， 通 用 汽车 公司 也 宣布 以 5 亿美 元 投资 Lyft 公 司 (一 家 与 滴 滴 出 行 类 似 的 打车 软件 公司 ) 。 


为 什么 高 科技 和 汽车 公司 纷纷 投资 进入 汽车 调度 网 络 或 者 行程 分 享 公司 ? 我 们 说 过 ,企业 数字 化 的 核心 就 是 以 用 户 体验 为 终极 目标 。 任 何不 以 这 个 目标 为 导向 的 传统 企业 都 容易 错失 发 展 机 会 。 一 个 极 
端的 思考 方式 是 ， 用 户 乘坐 一 辆 巴士 的 时 候 ， 更 多 的 是 注意 起 点 和 终点 ， 而 很 少 留意 是 哪 家 公司 生产 的 这 辆 巴士 ， 这 对 巴士 制造 商 而 言 ， 无 疑 是 令 人 泪 立 的 。 但 如 果 用 户 体验 做 得 好 ， 巴 士 制造 企业 会 获得 
更 多 的 价值 ， 反 之 就 只 能 沦 为 价值 单一 的 巴士 制造 商 。 汽 车 用 户 虽 然 没有 这 么 极端 ， 但 是 不 少 场景 下 ， 用 户 的 确 是 更 希望 解决 端 到 端 出 行 的 问题 。 于 是 ， 滴 滴 、Uber 等 新 型 出 行 方式 营运 而 生 ， 并 基于 其 收 
集 的 海量 运输 网 络 数据 、 行 程 等 用 户 数据 不 断 改善 为 用 户 提供 的 出 行 体验 。 汽 车 公司 如 果 不 在 这 类 场景 下 的 用 户 体验 方面 提前 布局 ， 就 可 能 成 为 前 面 阅 的 价值 单一 的 汽车 制造 商 。 


因此 ， 汽 车 公司 不 得 不 把 自己 的 战略 重心 由 生产 整 车 切换 到 数字 业务 逻辑 ， 而 数字 业务 逻辑 是 一 个 不 断 升 级 和 变迁 的 移动 目标 ， 汽 车 企业 需要 一 个 Cloud Foundry 这 样 的 Paas 平 台 不 断 推出 和 迁 代 自己 
的 数字 业务 服务 。 


21.3 ”无 人 驾驶 


运输 网 络 和 行程 共享 解决 了 让 用 户 使 用 最 少 的 资源 改善 端 到 端 出 行 的 问题 ， 一 定 程度 上 提升 了 用 户 体验 。 提 升 用 户 体验 的 另 一 个 重要 方面 是 无 人 驾驶 。 前 面 所 述 的 参与 汽车 互联 、 运 输 网 络 和 行程 共享 
的 大 部 分 公司 以 及 很 多 互联 网 公司 都 参与 了 无 人 驾驶 汽车 的 研发 。 根 据 CBlnight 报 道 ， 截 至 2016 年 4 月 ， 公 开 宣称 有 无 人 驾驶 计划 的 公司 有 30 家 ， 如 图 2-3 所 示 。 这 后 面 的 商业 逻辑 和 价值 倡议 又 是 什么 ? 


从 社会 生产 率 的 角度 上 看 ， 大 部 分 城 
和 更 高 的 效率 派 遗 汽车 ; 从 互联 网 公司 的 角度 ， 如 果 汽 车 是 互联 网 入 口 ， 


验 。 


无 人 驾驶 背后 的 技术 要 求 更 高 。 现 在 的 无 人 驾驶 技术 通常 是 依靠 本 地 智能 决策 和 云端 数据 交换 。 
结合 云端 数据 进行 机 器 学 习 和 实时 判断 。 
明和 快 数据 套件 。Cloud Foundry 中 部 署 了 Greenplum 大 数据 和 Gemfire 内 存 数 据 套件 ， 从 而 很 好 地 


据 ， 


需要 在 云 平 台中 整合 大 数 


214 智能 维护 


对 于 高 性 能 车 辆 ， 提 前 发 现 故障 的 能 力 尤 其 寻 
算法 会 比 对 过 去 出 现 故障 的 数据 模式 ， 从 而 发 现 车 辆 在 未 来 可 能 出 现 的 故障 。 如 果 有 故障 的 可 
Greenplum 大 数据 套件 提供 智能 维护 应 


面 ，BMW 利 上 


TATA ELXSI 


图 


征 工 作者 每 天 花 在 出 行 上 的 时 间 超过 2 个 小 时 ， 而 无 人 驾驶 技术 可 以 让 
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图 2-3 ”参与 无 人 驾驶 车 研发 的 公司 (截至 2016 年 4 月 ) 


户 在 出 行路 上 将 这 两 小 时 变 为 自主 的 时 间 ; 从 运输 网 络 角度 来 看 ， 无 人 驾驶 可 以 更 低 的 成 本 


那么 只 有 把 


产品 和 内 容 提 供给 用 户 。 无 论 从 哪个 角度 来 看 ， 无 人 驾驶 都 能 提高 用 户 出 行 体 


户 从 方向 盘 上 解放 出 来 ， 才 能 把 更 多 的 


户 行程 请 求 和 交通 管制 等 信息 。 汽 车 利用 本 地 的 视频 数据 、GPS 数 据 和 传 感 数 


云端 会 广播 交通 路 况 、 


(当然 必须 允许 


智能 维护 不 会 是 


这 样 的 数字 技术 指数 上 升 的 发 


2.1.5 ”电动 汽 


汽车 行业 中 另 一 个 颇 受 关注 的 领域 是 电动 汽车 。 电 动 汽车 作为 新 能 
机 更 加 容易 、 成 本 更 低 等 。 


电动 发 动机 上 


维护 汽油 发 于 


户 体验 的 终极 功能 ， 互 


以 想象 ， 


展 态 势 做 出 快速 


SNL, 


从 战略 
驶 而 言 ， 


当然 ， 电 动 汽车 本 身 也 有 其 特殊 之 处 ， 例 如 电池 管理 ， 


BARS, E7 
电动 发 动机 比 起 汽油 发 动机 更 加 容易 实现 。 对 于 智能 


汽车 更 为 重要 的 原 


是 电动 发 动机 将 是 改善 


来 实现 类 似 功能 。 这 种 智 侧 


户 通 过 机 械 装置 短路 软件 而 获取 控制 权 。) 当 本 地 计算 负载 过 重 的 时 候 ， 


此 ， 智 能 维护 成 为 各 大 汽车 企业 关注 的 重点 。 在 宝马 等 


可 以 把 部 分 计算 交 给 云端 ， 因 此 无 人 驾驶 对 于 云 平台 的 要 求 更 高 ， 
EA TIX MR. 


公司 的 智能 维护 的 场景 里 面 ， 互 联 汽车 把 传感器 数据 和 其 他 测量 数据 传送 到 云端 ， 机 器 学 习 


户 及 时 维护 。 如 果 机 器 学 习 的 准确 率 更 高 ， 甚 至 可 以 自动 和 4S 店 预约 维护 。 在 这 个 方 
场景 ， 也 就 是 说 ， 根 据 海量 数据 资产 发 现 洞察 ， 利 用 洞察 给 用 户 提供 应 用 服务 。 


能 ， 就 会 提醒 
是 典型 的 数据 驱动 的 应 


应 


维护 应 


条 着 汽车 数字 技术 的 不 断 进步 


源 汽车 的 好 处 这 里 不 做 讨论 。 此 外 ， 电 动 汽车 的 机 械 性 能 较 传统 汽车 大 有 改进 ， 例 如 速度 提升 到 100 公 里 /小 时 所 


维护 而 言 ， 


我 们 在 这 一 节 讨论 了 5 个 和 数字 化 相关 的 行业 价值 链 环节 。 作 为 行业 领袖 ， 


户 体验 。 


一 旦 发 现 这 样 的 机 会 


自己 的 领 


户 数字 体验 的 关键 部 件 。 电 动 汽车 比 普通 汽车 更 加 容易 控制 ， 对 于 实时 嵌入 式 系统 来 说 ， 
维护 一 个 电动 机 比 燃油 发 动机 更 加 简单 。 
需要 在 一 个 软件 平台 上 完成 。 


络 层 如 何 针对 


后 面 我 们 将 讨论 汽车 行业 战 


， 例 如 利用 AR 技术 ， 甚 至 能 从 汽车 挡 风 玻璃 看 到 增强 现实 的 路 况 和 周边 信息 。 


的 时 间 更 短 ; 维护 


重要 。 对 于 无 人 各 
电动 汽车 技术 。 


贵 回路 的 可 靠 性 非常 
户 体验 的 公司 进入 汽车 市 场 的 时 候 必 然 会 采 


可 以 预见 ， 那 些 及 其 重 


视 


需要 经 常 


常 做 下 面 的 练习 : 把 自己 放 在 一 个 互联 网 创业 者 的 角度 上 看 待 自己 的 行业 ， 看 哪些 环节 可 以 通过 数字 化 来 提供 更 好 的 用 


业 壮 大 后 才 被 动 迎 战 ， 但 市 场 机 会 已 经 很 小 了 。 


22 数字 化 转型 中 的 精益 方法 


上 一 节 我 们 探讨 了 汽车 行业 价值 链 中 可 以 被 数字 化 的 环节 。 数 字 化 企业 (通常 是 互联 网 企业 ) 和 汽车 企业 都 在 致力 于 借助 数字 技术 为 


增值 服务 。 现 在 ， 我 们 把 自己 放 在 汽车 行业 的 决策 者 的 位 置 ， 考 虑 如 何 与 互联 网 企业 竞争 核心 价值 链 数字 化 ?在 定义 自己 的 战略 之 前 ， 首 先 需要 熟悉 数字 


益 方 法 论 。 


数字 化 转型 中 之 所 以 推崇 精益 方法 ， 是 
户 。 数 字 企业 精益 方法 采 


& 


a 


通常 ， 


而 导致 失败 。 但 是 作为 传统 行业 ， 则 


地 位 可 能 被 挑战 ， 需 要 成 立 对 应 的 数字 业务 团 


队 和 战略 来 迎接 这 一 挑战 。 以 行程 共享 行业 为 例 ， 最 初 并 没有 一 个 行业 领袖 主动 创新 ， 直 到 Uber 这 样 的 企 


并 作为 互联 网 入 口 为 用 户 提供 更 多 的 


户 提供 端 到 端的 出 行 体验 ， 


小 幅 添 加 功能 但 是 快速 投放 市 场 的 方式 ， 根 据 
的 没有 太 多 客户 价值 的 代码 ， 就 好 像 精益 制造 避免 库存 成 本 一 样 。 有 意思 的 是 ， 
(Toyota) 的 丰田 生产 系统 (Toyota Production System) 。 


公司 的 理念 和 方法 ， 其 中 最 重要 的 一 套 理念 就 是 精 


因为 数字 领域 创新 较 之 传统 企业 有 更 大 的 不 确定 性 和 不 可 控 性 ， 而 对 手 一 旦 占据 市 场 ， 其 扩散 速度 较 之 传统 企业 又 快 很 多 ， 数 字 新 产品 可 以 一 夜 之 间 交 付 给 全 球 


和 场 的 


在 精益 制造 思想 


# 行 学 习 ， 然 后 进入 下 一 个 小 幅 增 量 功 能 添加 的 周期 这 样 做 的 好 处 是 不 仅 能 快速 响应 市 场 ， 同 时 也 会 减少 “ 库 
最 早 启发 数字 企业 “精益 创业 ”的 是 汽车 行业 的 精益 制造 (Lean Manufacturing) 方法 。 精 益 制造 的 模型 源 自 丰 


反馈 进 : 


的 影响 下， 数字 企业 不 仅 在 精益 的 流程 方面 大 有 改进 ， 还 打造 了 对 应 的 平台 和 工具 来 支撑 精益 (Lean) 的 流程 和 方法 。 


行业 领袖 积累 了 大 量 行业 知识 并 积累 了 大 量 


， 这 是 数字 化 的 优势 。 互 联网 企业 投入 到 行业 领域 ， 


学 习 如 何 提供 互 


闫 网 化 的 数字 化 服务 给 


需要 学 习 领 域 知 识 。 不 少 互联 网 企业 进入 传统 行业 时 ， 由 于 低估 了 产业 知识 门槛 、 过 于 乐观 


3. 


如 果 没 有 建立 精益 理念 ， 那 么 就 很 难 迎 接 数 字 企业 快速 迭代 的 挑战 ， 更 为 糟糕 的 是 很 难 招 幕 数字 人 才 。 传 统 企业 喜欢 设立 KPl 来 评估 企业 高 管 ， 而 数字 人 才 通 常 拒绝 言 目 设立 KPI。 以 KPI 驱动 创新 的 悖 


论 是 要 求 创新 者 在 面 对 不 确定 的 未 来 时 做 一 个 诚实 的 担保 。 而 创新 人 才 只 会 担保 他 们 会 尽量 加 快 产品 投放 到 市 场 的 速度 ， 获 得 市 场 


馈 后 再 继续 完善 产品 。 这 种 理念 的 冲突 解释 了 不 少 传统 企业 数字 化 时 因 


数字 化 团队 高 管 频频 流失 而 失败 的 现象 。 


更 多 的 数字 行业 的 精益 方法 可 以 参考 埃 里 克 - 莱 斯 (Eric Ries) 的 《精益 创业 》 一 书 ， 我 们 在 接 下 来 的 各 个 章节 将 转 


23 数字 平台 选 型 


Cloud Foundry 的 时 候 ， 如 何 拥抱 它 背 后 的 数字 团队 文化 和 采用 对 应 的 工具 集 来 更 好 地 发 挥 Cloud Foundry 的 作用 。 


绕 精 益 方法 说 明 汽 车 行业 为 何 借助 Cloud Foundry 实 现 数字 转型 。 我 们 还 会 讨论 在 采 


读 到 这 里 的 时 候 ， 行 业 领 导 应 该 已 经 穷 举 了 本 行业 价值 链 中 可 以 数字 化 的 部 分 ， 也 对 比 了 数字 企业 的 方法 和 理念 ， 现 在 需要 选择 一 个 技术 伙伴 来 落地 数据 并 以 SaaS 软 件 作为 体验 提供 给 最 终 用 户 。 


我 们 在 第 1 章 提 到 ，PaasS 平 台 是 能 高 效 地 帮助 企业 以 高 效率 、 低 门槛 


1) 平台 最 好 是 开源 的 。 虽 然 术 业 有 专攻 ， 企 业 也 愿意 为 平台 的 提供 者 
有 软件 ， 公 司 的 核心 资产 将 建立 在 一 个 私有 的 基础 设施 上 ， 在 当前 形势 下 ， 


2) 平台 应 该 能 支持 快速 迭代 和 连续 交付 。 前 面谈 到 ， 汽 车 行业 的 数字 趋势 下 有 非常 多 的 功能 要 开发 ， 而 一 次 性 推出 全 部 功能 既 可 能 | 


发 和 交付 SaaS 软 件 的 方式 。 传 统 企业 可 以 考虑 选择 一 个 P 


层 技术 平台 将 自己 的 数字 战略 落地 。 这 里 我 们 给 出 几 个 原则 : 


支付 费用 ， 但 是 依然 存在 平台 定价 过 高 或 者 服务 不 佳 的 风险 ， 对 于 一 些 初创 公司 ， 费 用 更 是 需要 考虑 的 重要 因素 。 如 果 采 用 标准 私 


会 影响 投资 人 对 企业 未 来 的 信心 。 而 采用 一 个 开源 项 目 ， 如 果 它 变 得 活跃 ， 企 业 创新 速度 也 会 比 采用 私有 软件 更 快 。 


因为 花费 太 多 时 间 错 过 市 场 时 机 ， 又 不 一 定 能 一 次 性 做 到 符合 用 户 的 


全 部 需求 。 所 以 ， 开 发 团队 必须 从 某 个 功能 入 手 快速 开发 应 用 投放 市 场 ， 然 后 不 断 在 原 有 的 功能 上 累积 。 第 1 章 讨论 到 ，Paas 平 台 比 laas 平 台 更 加 平民 化 ， 这 降低 了 对 开发 团队 的 技术 要 求 。 但 是 决策 者 还 


需要 确保 平台 上 的 连续 交付 能 力 。 通 俗 地 说 ， 连 续 交 付 就 是 确保 当前 的 项 目 状态 反应 实际 状况 ， 并 且 保证 后 期 的 开发 可 以 累加 上 去 。 所 谓 累 加 能 力 ， 就 是 指 后 面 的 软件 功能 可 以 调用 前 


力 。 例 如 ， 用 户 模块 创建 以 后 ， 不 仅 汽 车 金融 可 以 使 用 ， 后 续 的 智能 维护 或 者 车 辆 共享 也 可 以 使 用 。 过 去 ， 工 业界 也 曾 推出 过 面向 服务 器 的 架构 
非常 笨重 。 平 台 需 要 提供 一 个 轻 量 的 服务 模型 ， 使 得 传统 企业 能 够 像 搭 积 木 一 样 快速 但 是 又 可 持续 地 组 装 出 更 多 的 数字 服务 ， 从 而 进入 一 个 良性 


3) 平台 需要 有 相应 的 敏捷 项 目 开发 工具 来 保证 开发 进度 的 透明 性 和 信 


面 的 软件 功能 的 能 


(Service Oriented Architecture，SOA) ， 但 是 使 用 起 来 


馈 系统 。 


息 的 流通 。 传 统 的 项 目 管理 工具 基本 采用 工作 任务 分 解 (Work Breakdown Structure, WBS) ， 但 这 套 工 具 基 本 不 适用 于 数字 


开发 。 新 型 的 适合 数字 创造 行业 的 工具 应 该 可 以 帮助 业务 和 开发 团队 用 同一 套 流程 和 语言 进行 工作 ,减少 从 需求 到 开发 的 信息 丢失 和 交接 摩擦 。 


总 体 来 说 ,市 场 上 主流 的 PaaS 提 供 商 的 产品 都 关注 了 上 述 业 务 需 求 ， 本 书 所 基于 的 Cloud Foundry 在 顶 


Cloud Foundry 的 设计 中 对 支持 精益 精神 有 诸多 考虑 。 第 一 ，Cloud Foundry 


层 设 计时 就 听取 了 传统 企业 客户 在 数字 转型 方面 的 需求 ， 旨 在 打造 一 个 支持 精益 的 Paas 平 台 。 


自 带 连续 集成 工具 Concourse， 这 个 工具 能 够 帮助 开发 团队 落实 测试 驱动 (Test-Driven Development, TDD) 和 连续 集 


成 (Continuous Integration, Cl) , $8—, Cloud Foundry 采 用 了 容器 技术 以 降低 部 署 的 颗粒 并 消除 对 特定 | 层 云 的 依赖 。 除 了 自 有 的 容器 ，Cloud Foundry 也 支持 新 兴 的 Docker 容 器 技术 。 第 


三 ，Cloud Foundry 采 用 微服 务 架 构 以 帮助 企业 轻 量 但 快速 、 增 量 式 地 推出 服务 ， 容 器 技术 的 采用 也 使 微服 务 更 加 容易 落 


c 


Pivotal Tracker 是 配合 Cloud Foundry 支 持 精益 的 敏捷 工具 。Pivotal Tracker 的 工作 流 可 以 准确 地 记录 、 分 解 业 务 需求 ， 并 按照 优先 级 和 依赖 顺序 排序 。 产 品 管理 和 开发 团队 可 以 根据 需求 按 周期 快 


速 、 增 量 地 连续 交付 在 Cloud Foundry 平 台 上 。 此 外 ， 可 以 根据 用 户 反馈 学 习 以 提 出 下 一 个 需求 或 者 调整 优先 级 。 相 比 了 


机 一 样 ， 可 以 一 步 一 个 脚印 ， 在 每 个 地 方 都 能 达到 自己 希望 的 深度 。 


F 传 统 的 软件 开发 和 质量 控制 流程 ， 采 用 Pivotal Tracker 和 Cloud Foundry 就 像 打桩 


回 到 汽车 行业 ， 福 特 公司 选择 了 微软 的 Azure 作 为 | 层 云 架构 ， 并 选择 Pivotal Cloud Foundry 部 署 在 Azure 上 面 ， 形 成 托管 在 公有 云 上 的 福特 独 享 的 PaaS 云 。 福 特 在 PaaS 云 上 快速 敏捷 地 开发 自己 的 


SaaS 服 务 一 一 FordPass。FordPass 面 二 


d 


24 组建 软件 开发 团队 


后 ， 在 短 短 的 半年 时 间 内 以 精益 创业 的 理念 迭代 了 6 个 重 


要 的 版 本 ， 相 比 传统 行业 以 年 为 周期 发 布 软件 ， 不 可 谓 不 快 。 


有 了 支持 精益 创业 的 Cloud Foundry 平 台 和 敏捷 项 目 工 具 Pivotal Tracker， 就 有 了 很 好 的 起 点 。 但 是 进行 数字 化 转型 最 关键 的 一 环 是 组 建 数字 团队 并 建立 相应 的 文化 。 选 择 精益 数字 平台 和 采用 敏捷 软 


件 工 具 的 商业 逻辑 也 很 容易 理解 ， 所 以 大 部 分 公司 战略 负责 人 都 能 落实 。 


但 是 ， 大 部 分 传统 企业 却 忽视 了 组 建 数字 团队 和 对 应 的 文化 而 在 数字 化 转型 的 路 上 挣扎 。 第 一 个 典型 的 症状 就 是 “万 寻 


俱 备 ， 只 缺 首席 技术 官 (CTO) 或 者 首席 信息 官 (CIO) 。” 这 是 由 于 前 面 讨论 


的 精益 方法 和 理念 导致 业绩 考核 标准 的 差别 造成 的 。 即 使 高 薪 聘 请 到 CTO 和 CIO， 又 会 出 现 工程 师 招聘 困难 或 者 频频 流失 的 现象 。 数 字 型 人 才 首 先 选择 技术 型 企业 ， 这 会 造成 传统 企业 招聘 成 本 更 高 。 另 


外 ， 数 字 型 企业 由 于 有 超 高 毛利 润 率 (软件 企业 通常 80% 以 上 ) 和 超 高 的 


和 一 率 ， 使 得 他 们 有 更 多 的 营 收 投入 或 者 融资 能 力 投 入 到 研发 和 人 才 招 慕 。 最 后 ， 由 于 人 才 培 养 滞 后 ， 数 字 型 人 才 供不应求 导致 人 


员 频 频 流动 ， 高 科技 企业 一 般 有 20% 的 年 流失 率 ， 最 高 的 可 以 达到 80%。 更 为 粮 糕 的 是 ， 数 字 型 企业 通常 是 知识 密集 型 企业 ， 更 加 需要 沉淀 和 积累 。 那么， 面临 这 样 的 人 才 市 场 现状 ， 传 统 企业 如 何 积累 数 


据 和 知识 并 且 不 中 断 地 发 布 软件 给 自己 的 用 户 以 提高 体验 呢 ? 


Pivotal 深 说 在 传统 行业 组 建 创新 团队 和 文化 的 痛 点 ， 所 以 通过 公司 的 Pivotal Labs 组 织 (以 下 简称 Labs) 来 帮助 建立 数字 化 转型 需要 的 技术 


帮助 客户 使 用 Pivotal Tracker 工 具 在 云 上 开发 云 原 生 应 用 (Cloud Native 


首先 ， 为 了 让 传统 企业 的 新 型 数字 团队 具备 独立 性 ，Labs 通 常 要 求 企业 的 技术 | 
候 ， 需 要 成 立 相对 独立 的 机 构 来 应 对 挑战 。 其 中 的 原理 在 《创新 者 的 窘境 》 一 书 中 剖析 得 很 清楚 ， 问 题 在 于 这 个 数字 创新 是 破坏 性 创新 还 是 连续 性 创新 如 果 是 连续 性 的 创新 ， 传 统 企业 招聘 一 个 CTO 或 者 
CIO 或 许 能 够 成 功 。 但 是 对 于 破坏 性 的 创新 ， 书 中 建议 成 立 一 个 专门 的 机 构 来 应 对 这 个 创新 。 也 就 是 说 ， 在 大 部 分 情况 下 ， 传 统 企业 要 招聘 的 CIO 或 者 CTO 其 实 是 一 个 新 公司 的 CEO， 至 少 是 一 个 相对 独立 
如 果 一 个 企业 频频 更 换 CTO 和 CIO， 通 常 不 一 定 是 招聘 的 问题 ， 而 可 能 是 企业 陷入 了 创新 者 的 窘境 。 其 
决心 。 相 比 之 下 ， 美 国 的 决策 者 更 加 容易 做 出 这 样 的 决定 ， 倒 不 是 因为 美国 的 决策 者 更 加 有 魄力 ， 而 是 


的 新 部 门 的 负责 人 。 这 里 所 说 的 相对 独立 既 包 括 财务 上 的 独立 结算 ， 也 包括 物理 办 公 室 地 点 的 分 离 。 
实 《 创 新 者 的 窘境 》 一 书 中 的 理论 对 于 中 国 的 战略 决策 人 并 不 陌生 ， 但 是 实践 起 来 还 得 有 壮士 断 腕 的 


团 


BA. Pivotal Labs 是 极限 编程 和 精益 方法 的 代表 ， 他 们 不 仅 


APP) ， 而 且 帮 助 企业 建 立 数字 化 转型 所 需 


的 团队 、 文 化 和 流程 。 


美国 的 战略 决策 者 有 更 多 的 历史 经 验 。 例 如 ， 在 第 1 章 谈 到 过 从 第 一 代 平台 向 第 二 代 乎 台 变迁 的 时 候 ， 只 有 1IBM 成 功 过 渡 ， 企 业 家 们 见证 


盘 行 业 的 发 展 也 再 次 教育 了 美国 的 决策 者 。 举 个 例子 ， 麻 省 理工 技术 评论 
述 到 GE 投资 的 年 软件 收入 约 40 亿 美元 ， 和 当时 的 SaaS 公 司 Salesforce 相 当 


数字 战略 和 突破 性 创新 的 要 求 ，GE 在 美国 San Ramon 成 立 软件 研发 中 心 并 投资 Pivotal 公 司 1 亿美 元 。 当 然 不 是 所 有 的 企业 都 通过 组 建 全 新 


团队 成 员 在 Labs 的 办 公 室 工 作 ， 使 这 些 人 员 不 受 企业 传统 文化 和 


0 流程 的 束缚 。 本 质 上 讲 ， 传 统 企业 面临 突破 性 技术 的 时 


(MIT Technology Review) 在 2014 年 对 通 


了 其 他 企业 在 突破 性 创新 时 失败 的 案例 。《 创 新 者 的 窘境 》 谈 到 的 硬 
电气 (GE) 的 数字 转型 做 了 一 个 名 为 《GE 的 10 亿 美元 的 软件 赌注 》 的 报道 ， 


Fhe] 


。 这 意味 着 GE 提出 工业 互联 网 以 后 ，GE 的 数字 资产 部 分 估 值 有 机 会 可 以 和 Salesforce ( 纽 交 所 股票 代号 CRM) 的 市 值 对 标 。 按 照 


的 子 公司 来 完成 数字 化 转型 ， 不 少 企业 选择 把 团队 送 往 附近 的 Labs 


办 公 室 。 因 为 P 层 云 部 署 在 共有 的 | 层 云 上 ， 企 业 的 员工 在 Labs 办 公 室 一 样 可 以 编写 和 发 布 软件 。Pivotal 在 设计 办 公 室 的 时 候 就 考虑 到 了 客户 的 要 求 ， 提 供 开 放 的 环境 ， 图 2-4 是 笔者 和 全 球 办 公 室 团 队 建设 


的 北京 Pivotal 办 公 室 一 角 ， 这 是 一 个 典型 的 Labs 办 公 室 。 


图 2-4 Pivotal Labs 


为 帮助 团队 和 客户 方 高 管 对 其 数字 化 产品 状态 一 目 了 然 ， 应 在 显著 位 置 展现 连 续集 成 发 布 状态 。 图 2-5 展 现 了 Pivotal 内 部 产品 连续 发 布 状态 ， 如 果 有 红色 ， 则 意味 着 产品 开发 的 某 个 环节 出 现 
产品 不 能 发 布 。 


问题 导致 


其 次 ，Pivotal Labs 的 方法 中 包含 一 个 重要 的 叫做 结对 编程 (Pair Programming) 的 环节 ， 也 就 是 Labs 的 团队 成 员 和 企业 团队 成 员 1 对 1 结对 ， 采 用 Labs 的 流程 方法 和 工具 在 云 上 开发 APP。 
了 结对 编程 的 工作 场景 ， 两 个 程序 员 要 有 两 个 键盘 、 两 个 鼠标 、 两 个 显示 器 ， 但 是 在 一 个 电脑 主机 上 工作 。 


图 2-6 给 出 


图 2-5 Pivotal 内 部 产品 连续 发 布 状态 


图 2-6 


Pivotal Labs 主 张 的 结对 编程 


采用 这 种 开发 方式 的 第 一 个 好 处 是 两 个 人 可 以 实时 评审 代码 。 代 码 审查 是 在 传统 软件 企业 很 难 落 地 的 一 种 实践 ， 在 结对 编程 场景 下 则 很 容易 实现 。 第 二 个 好 处 是 新 的 成 员 可 以 快速 学 习 到 产品 知识 ， 亲 
自动 手 通常 能 更 快 地 学 习 到 相关 知识 。 第 三 个 好 处 是 一 个 知识 模块 通常 有 两 个 以 上 成 员 知晓 ， 这 样 即使 一 个 成 员 离职 ， 另 外 一 个 成 员 也 可 以 积累 知识 并 和 新 成 员 结对 以 防 积累 流失 。 


最 后 ，Labs 主 张 小 而 精干 的 团队 。Labs 会 根据 企业 方 派出 的 人 数 配备 同样 数量 的 技术 人 员 (比如 4 个 人 ) ， 轮 流 结对 编程 。 一 般 经 过 一 个 开发 周期 ， 企 业 方 的 人 员 便 能 掌握 新 型 的 开发 方法 、 文 化 和 工 
具 。 他 们 回 到 本 单位 以 后 便 可 以 与 自己 的 团队 成 员 按照 Labs 的 结对 方法 在 原 有 的 组 织 不 断 推进 新 型 方法 、 文 化 和 工具 。 经 过 这 样 的 工作 ， 客 户 不 仅 获得 了 开发 的 软件 ， 更 获得 了 一 个 新 型 软件 开发 团队 。 


再 回 到 汽车 行业 ，Ford 公 司 不 仅 采用 Cloud Foundry 作 为 数字 战略 的 平台 ， 同 时 在 Pivotal 公 司 的 帮助 下 建立 了 新 型 的 数字 团队 和 对 应 的 数字 文化 。 福 特 公司 派遣 工程 师 到 Pivotal 学 习 软件 开发 方法 和 文 
化 ， 福 特 公司 和 Pivotal 的 工程 师 通 过 结对 方式 共同 编写 FordPass， 将 传统 的 需要 几 个 月 时 间 才 能 完成 的 软件 发 布 工作 缩短 到 几 天 内 就 可 以 落地 成 为 软件 。 在 用 户 使 用 软件 的 过 程 中 ， 团 队 会 根据 用 户 的 反馈 
不 断 改进 和 和夫 代 新 的 软件 ， 不 断 提升 用 户 体验 ， 最 终 把 一 个 制造 业 公 司 转型 为 以 体验 为 导向 的 数字 型 公司 。 


前 面 介绍 过 ，PaaS (Platform as a Service， 平 台 即 服务 ) 是 把 应 用 平台 作为 一 个 服务 直接 提供 给 用 户 ， 


它 可 以 让 应 


的 部 署 、 运 行 、 维 护 和 扩 | 


展 变 得 非常 容易 。 有 一 些 Paas 平 台 只 能 运行 在 某 一 种 云 


基础 架构 上 ， 支 持 有 限 的 几 种 运行 时 语言 和 框架 ,提供 不 多 的 可 用 服务 ;而 Cloud Foundry 是 一 个 开源 的 Paas 平 台 ， 可 以 无 颖 迁移 并 运行 在 多 种 云 基础 架构 (laaS) 上 ,包括 亚马逊 的 AWS、 谷 歌 的 Cloud 


Platform 和 微软 的 Azure 等 公有 云 ， 以 及 vSphere 和 OpenStack 等 私有 云 ， 支 持 几乎 所 有 常用 


而 苦恼 ， 那 么 Cloud Foundry 就 是 一 个 极 佳 选择 。 


的 语言 和 框架 ， 提 供 了 丰富 的 服务 。 如 果 你 正在 考虑 选择 PaaS 平 台 ， 或 者 为 laaS 平 台 上 复杂 应 用 的 管理 和 维护 


2014 年 ，IBM 分 享 了 一 份 涵盖 目前 6 个 业界 领先 的 Paas 平 台 的 比较 报告 ， 显 示 Cloud Foundry 在 工具 支持 、 方 便 扩 展 、 日 志 收 集 和 展示 以 及 服务 集成 上 都 表现 优秀 。 当 时 报告 中 提 到 的 几 个 缺点 也 在 最 


新 的 产品 中 修正 了 。 所 以 ，Cloud Foundry 已 成 为 目前 值得 信赖 的 企业 级 Paas 平 台 。 


Cloud Foundry 的 代码 公开 在 github ( 
两 周 发 布 一 个 版 本 的 节奏 。 读 者 可 以 从 https 


github.com/cloud 


thub.com/cloudfoun 


//) 上 ， 任 何人 都 可 以 浏览 和 贡献 。Cloud Foundry 团 队 是 敏捷 开发 、 
浏览 和 下 载 任意 版 本 。 


测试 驱动 和 结对 编程 的 忠实 践 行者 ， 他 们 基本 上 保持 每 


Pivotal 公 司 也 提供 企业 版 的 Cloud Foundry 产 品 ， 称 为 Pivotal Cloud Foundry (简称 PCF) ， 该 产品 基于 开源 Cloud Foundry， 在 多 个 方面 都 有 增强 和 优化 ， 也 提供 企业 级 技术 支持 。 下 载 Pivotal 


Cloud Foundry 斌 用 版 的 地 址 为 https://network.pivotal.io/。 


很 多 人 认为 Cloud Foundry 是 近年 来 出 现 的 产品 ， 但 实际 上 ，Cloud Foundry 的 发 展 历史 很 久远 ， 期 间 也 经 历 了 很 多 次 变革 。 


2009 年 8 月 ，VMware 收 购 了 一 家 公司 SpringSource。 与 此 同时 ，SpringSource 收 购 了 一 家 公司 Cloud Foundry。 那 时 候 的 Cloud Foundry 是 
Amazon 上 ， 域 名 就 是 Cloud Foundry。 后 来 的 Cloud Foundry 发 生 了 天 翻 地 覆 的 变化 ， 可 以 说 ， 现 在 的 Cloud Foundry 只 是 借 


一 个 完全 用 Java 编 写 的 面向 Java 应 用 的 运行 时 ， 部 署 在 
了 Cloud Foundry 这 个 名 字 。 


2011 年 4 月 ，VMware 宣 布 开源 Cloud Foundry。ActiveState 为 开源 的 Cloud Foundry 贡 献 了 Python 和 PerI 的 运行 时 。 越 来 越 多 的 公司 看 到 了 Cloud Foundry 的 价值 ， 提 供 基 于 Cloud Foundry 的 公有 
云 ， 例 如 HP Cloud; 一 些 公 司 把 Cloud Foundry 部 署 在 企业 内 部 使 用 ， 例 如 Baidu 和 NTT。 还 有 一 些 独立 的 公司 开始 提供 基于 Cloud Foundry 的 服务 


2012 年 12 月 ，VMware 和 EMC 把 各 自 的 一 些 产品 和 业务 分 拆 整合 ， 成 立 了 一 个 专注 


， 例 如 Stark&Wayne。 


大 数据 和 云 平台 的 新 公司 Pivotal，Cloud Foundry 成 为 该 公司 的 一 个 产品 。 


2013 年 ，Pivotal 开 始 重 写 并 优化 Cloud Foundry 的 很 多 模块 ， 并 且 把 版 本 标记 为 V2。 同 年 ，IBM 开 始 参与 Cloud Foundry， 最 终 发 布 了 基于 Cloud Foundry 的 云 平台 Bluemix。2013 年 8 月 ，Cloud 
Foundry 咨 询 委员 会 成 立 ， 成 员 包 括 Pivotal、IBM、CenturyLink、Piston、Intel、ActiveState、Stark&Wayne、Canonical 和 CloudCredo， 建 立 了 对 Cloud Foundry 产 品 更 加 开放 和 友好 的 管理 模式 。 
同年 9 月 ,首届 Cloud Foundry 峰 会 在 Santa Clara 举 行 。11 月 ，Pivotal 发 布 了 基于 Cloud Foundry 的 企业 版 Pivotal CF 1.0, 


2014 年 ，Cloud Foundry 基 金 会 成 立 ， 白 金 赞助 商 包括 EMC、IBM、HP、Pivotal、Rackspace、SAP 和 VMware， 这 是 一 个 开放 监督 并 且 独 立 运作 的 基金 会 。Cloud Foundry 团 队 开始 用 Go 语言 重 写 
Elastic Runtime， 代 号 为 Diego。 在 同年 的 峰会 上 ， 产 品 负责 人 也 公布 了 Cloud Foundry 的 产品 规划 和 路 线 图 。 


2015 年 ，Pivotal 宣 布 企业 版 Pivotal CF 的 年 度 推算 订单 超过 1 亿美 元 ， 实 现 了 里 程 碑 式 的 突破 ， 重 要 客户 包括 Philips、 中 信和 银行 、CoreLogic、BMW 和 NTT 等 。 越 来 越 多 的 服务 和 Buildpack 被 开发 出 
来 ，github 中 Cloud Foundry-Community 下 的 项 目 数 超过 200 个 。 同 年 的 峰会 在 美国 圣 克 拉 拉 、 德 国 柏 林 和 中 国 上 海 三 地 举行 。 


2016 年 ， 超 过 130 位 核心 开发 人 员 和 数 以 干 计 的 独立 贡献 者 不 断 增强 产品 。Cloud Foundry 基 金 会 成 员 企 业已 增长 到 60 多 家 ， 基 金 会 也 启动 了 认证 项 目 ，Pivotal、HP、SAP 等 多 家 企业 成 为 认证 的 
Cloud Foundry 供 应 商 ， 在 惯例 的 峰会 之 外 ，11 月 由 Pivotal、IBM、GE 等 10 个 公司 资助 的 Cloud Foundry Days 在 全 球 6 个 城市 分 别 进行 。 


32 Cloud Foundry 的 架构 


1. 早 期 架构 


图 3-1 显 示 了 早期 Cloud Foundry 的 功能 模块 ， 虽然 Cloud Foundry 经 过 这 么 多 年 的 改进 ， 很 多 模块 已 经 完全 重 构 ， 但 是 其 基本 架构 没有 变化 ， 了 解 早 期 架构 和 模块 有 助 于 我 们 更 好 地 理解 现在 的 Cloud 
Foundry。 


D 
Cloud Controller Health Manager 应 用 生命 周期 管理 


Application Execution (DEA) 


fo n 


服务 代理 
Message Bus (NATS) 


图 3-1 Cloud Foundry #9 244 


Cloud Foundry 的 主要 模块 包括 自 服务 的 应 用 执行 引擎 和 应 用 部 署 与 生命 周期 管理 的 自动 化 引擎 。Cloud Foundry 也 提供 了 一 个 开放 的 架构 ， 可 以 集成 新 框架 的 Buildpack、 添 加 新 服务 的 接口 以 及 部 
署 在 新 的 云 平台 上 的 提供 者 接口 (Cloud Provider Interface, CPI) . 


Cloud Foundry 将 应 用 的 运行 时 环境 和 应 用 本 身分 隔 处 理 。 应 用 的 运行 时 环境 被 抽象 为 Buildpack， 这 种 抽象 和 区 分 有 很 多 好 处 。 最 明显 的 一 个 好 处 是 ， 可 以 对 这 些 公共 的 运行 时 进行 集中 管理 升级 。 
例如 ， 一 个 企业 有 上 干 个 Java 应 用 ， 如 果 每 个 Java 应 用 都 需要 部 署 维护 各 自 独立 的 运行 时 环境 ， 那 么 工作 量 、 复 杂 度 和 难度 都 很 大 。 如 果 借 助 Buildpack 就 简单 得 多 ， 平 台 只 需要 集中 管理 Java Buildpack 即 
可 。 若 出 现 Java 的 安全 补丁 ， 需 要 升级 时 ， 也 可 以 一 次 统一 升级 而 对 应 用 没有 影响 。 对 开发 者 而 言 ，Buildpack 为 他 们 节省 了 大 量 搭建 测试 、 开 发 和 产品 环境 的 时 间 ， 而 且 平台 保证 了 这 些 不 同 环境 完全 一 
致 ， 从 而 集中 精力 在 自己 的 业务 逻辑 和 代码 上 。 


接 下 来 将 逐 层 说 明 各 模块 的 功能 。 


1) 路 由 (Routing) : Router 会 把 用 户 的 请 求 转 到 后 台 相应 的 模块 ， 通 常 是 Cloud Controller 或 者 是 执行 相应 应 用 程序 的 DEA 节 点 。 


2) 认证 (Authentication) : UAA (User Account and Authentication) Server 是 基于 OAuth2 的 授权 服务 ， 与 Login Server 一 起 提供 身份 和 权限 管理 。 


3) 应 用 生命 周期 (APP Lifecycle) 管理 : Cloud Controller 负 责 管 理应 用 的 生命 周期 。 当 开发 者 把 应 用 推送 到 Cloud Foundry 时 ， 开 发 者 实际 上 是 在 和 Cloud Controller 交 互 。Cloud Controller 把 应 
用 的 原始 字 节 码 保存 在 Blob Store 中 ， 在 数据 库 中 创建 记录 以 保存 应 用 的 元 数据 ， 并 且 分 配 一 个 DEA 节 点 来 准备 和 运行 应 用 实例 。Cloud Controller 也 维护 组 织 、 空 间 、 服 务 、 服 务实 例 和 用 户 角色 等 系统 
元 数据 。 


Health Manager (项 目 名 称 HM9000) 有 三 个 主要 的 功能 : @ 监 控 应 用 程序 收集 它们 的 状态 (例如 ， 运 行 中 、 已 停止 、 已 崩溃 等 ) 、 版 本 和 实例 个 数 。HM9000 是 通过 应 用 的 心跳 和 运行 应 用 的 DEA 


发 出 的 droplet.exited 消 息 来 收集 这 些 信息 的 。@ 决 定 应 用 的 期 望 状态 、 版 本 和 实例 个 数 。HM9000 是 通过 Cloud Controller 的 数据 库 来 获取 这 些 期 望 信息 的 。@ 根 据 应 用 的 期 望 状态 来 调整 它 的 实际 状态 。 
例如 ， 如 果实 际 运行 的 实例 个 数 少 于 期 望 个 数 ，HM9000 会 指示 Cloud Controller 来 启动 缺少 的 实例 。 


HM9000 是 保证 应 用 持续 可 用 的 关键 模块 。 当 运行 应 用 的 DEA 节 点 忽然 终止 、Warden 中 止 了 应 用 程序 或 者 应 用 因 自 身 出 错 退出 时 ，HM9000 都 会 马上 监测 到 并 且 立 即 重启 相应 的 应 用 实例 。 


4) 应 用 存储 和 执行 : 应 用 执行 的 功能 由 DEA 实 施 ，DEA 表 示 Droplet Execution Agent， 用 于 管理 应 用 实例 、 跟 踪 启动 的 实例 并 且 广 播 实例 的 状态 信息 。 应 用 实例 运行 在 Warden 容 器 中 。 容 器 保证 了 


实例 运行 在 一 个 隔离 的 环境 ， 可 以 访问 所 分 配 的 资源 ， 并 且 不 受 其 他 实例 的 干扰 。 


Blob Store 是 一 个 文件 的 存储 区 ， 其 中 保存 了 应 用 的 代码 、Buildpack、Droplet。Blob Store 通 常 是 一 个 与 laaS 相 关 的 存储 ， 例 如 ， 在 AWS 上 可 以 是 一 个 S3 bucket， 在 Open-Stack 环 境 下 可 以 是 一 个 


Swift 存储 。 


ul 


7) 日 志和 度量 (Logging 和 Metric) 


服务 代理 (Service Broker) : 应 用 程序 通常 依赖 一 些 外 部 服务 ， 例 如 数据 库 或 者 第 三 方 的 SaaS 服 务 。 当 应 用 程序 绑 定 了 一 个 服务 时 ， 相 应 的 Service Broker 就 会 创建 和 提供 对 应 的 服务 实例 。 


6) 消息 总 线 (Message Bus) : Cloud Foundry 的 各 个 模块 使 用 NATS 来 相互 通信 。NATS 是 一 个 轻 量 级 发 布 -订阅 模式 的 分 布 式 消息 系统 。 


志 (Log) 和 度量 (Metric) 收集 器 从 各 个 模块 收集 日 志和 度量 ， 开 发 和 运 维 人 员 可 以 利用 这 些 信息 来 监控 和 诊断 应 用 实例 。 


上 面 的 架构 和 模块 都 位 于 Cloud Foundry 服 务 端 ， 最 终 用 户 通过 一 个 命令 行 工具 (cf cli) 和 Cloud Foundry 服 务 端 交互 ， 包 括 应 用 的 部 署 、 删 除 、 伸 缩 、 查 看 日 志 等 常用 应 用 管理 功能 ， 也 包括 服务 管 
理 、 用 户 管理 、 安 全 管理 、 组 织 空间 和 路 由 


管理 等 功能 。 


2. 基 于 Diego 的 架构 


Cloud Foundry 团 队 一 直 在 优化 产品 ， 有 时 候 也 不 惜 成 本 大 规模 重 写 一 些 模块 。 上 述 基 于 DEA 的 Cloud Foundry 在 实际 运行 中 收集 到 很 多 反馈 ， 面 临 一 些 严重 的 问题 : 


RAS 


Cloud ControllerfIDEABERESHEER, TXA MERZ BRA. IANA. Cloud Controller 承 担 了 太 多 的 责任 ， 应 用 生命 周期 的 管理 都 通过 Cloud Controller 来 指挥 ， 而 具体 的 工作 又 由 


DEA 来 实施 ， 因 而 造成 很 多 不 便 。Cloud Controller 和 DEA 之 间 的 这 些 交 互 和 依赖 可 以 通过 DEA 完 全 自治 的 方式 而 避免 。 


“ 三角 依赖 


当 一 个 DEA 节 点 被 删除 时 ， 该 节点 上 的 应 用 需要 在 其 他 DEA 节 点 上 启动 ， 这 个 过 程 就 比较 烦琐 。 首 先 ，HM9000 模 块 发 起 通知 ， 让 Cloud Controller 启 动 这 些 应 用 。Cloud Controller 收 到 通知 后 告 : 
DEA 执 行 具体 的 操作 。DEA 启 动 后 ， 再 通知 HM9000 这 些 应 用 启动 完成 了 。 整 个 过 程 形 成 了 一 个 完整 的 三 角 依 赖 闭环 。 虽 然 逻 辑 上 没有 错 ， 但 是 这 三 个 模块 的 相互 依赖 让 工作 变 得 复杂 ， 而 且 很 难 测试 ， 发 


现 问题 也 很 难 进 行 诊断 和 分 析 。 


“ 只 支持 APP 


基于 DEA 的 Cloud Foundry 只 支持 应 


的 部 署 ， 在 客户 实际 使 用 时 ， 希 望 将 很 多 其 他 类 型 的 工作 也 放 在 Cloud Foundry 中 运行 ,例如 ， 一 次 性 任务 ， 甚 至 是 类 似 于 cron job 那样 完备 的 、 可 以 灵活 调度 


的 任务 。 在 现 有 的 架构 中 ， 很 难 增加 对 这 些 类 型 工作 的 支持 。 


“平台 相关 


基于 DEA 的 Cloud Foundry 部 署 的 应 


运行 在 一 个 容器 中 ， 并 称 为 Warden。Warden 是 基于 Linux 内 核 的 ， 这 也 就 限定 了 可 以 在 Cloud Foundry 上 运行 的 应 用 不 能 是 基于 Windows.NET 平 台 的 ， 而 很 


多 客户 又 有 这 样 的 需求 。 


总 结 上 述 


和 运行 应 用 实例 。 


问题 后 ， 我 们 发 现 ， 很 难 在 现 有 的 DEA 架 构 中 添加 新 的 功能 ， 即 使 维护 现 有 的 功能 也 不 轻松 。 于 是 ，Cloud Foundry 团 队 重 写 了 整个 DEA 模 块 ， 并 于 2015 年 10 月 正式 发 布 了 Cloud Foundry 的 
新 一 代 容器 管理 系统 ， 代 号 是 Diego。 如 果 没 有 部 署 和 启用 Diego，Cloud Controller 会 依然 通过 DEA 来 调度 和 管理 应 用 程序 实例 。 如 果 部 署 并 且 启 


了 Diego， 那 么 Diego 就 取代 了 DEA 和 HM9000 来 管理 


在 对 应 用 的 抽象 上 ，Diego 将 应 用 区 分 为 任务 (Task) 和 LRP (Long Running Process) 。 任 务 是 只 需要 运行 一 次 的 应 用 ， 平 台 会 保证 它 最 多 执行 一 次 。LRP 是 可 以 被 Diego 监 控 状 态 并 可 以 有 多 个 实 


例 的 应 用 ， 通 常 是 需要 持续 运行 的 ， 大 多 数 的 应 用 都 属于 这 一 类 。 对 于 LRP，Diego 会 记录 需要 运行 的 实例 数 ， 并 持续 收集 系统 中 实际 运行 该 应 用 的 实例 数 ， 如 果 两 者 不 一 致 ，Diego 就 会 采取 行动 减少 或 者 


增加 实例 让 两 者 一 致 。 


Diego 的 设计 也 尽量 保持 独立 性 ， 虽 然 它 仍 然 是 Cloud Foundry 的 一 部 分 ， 但 Diego 可 以 独立 部 署 、 运 行 、 测 试 ，Cloud Foundry 中 除 Cloud Controller 之 外 的 其 他 模块 都 可 以 看 做 Diego 的 客户 端 ， 通 
过 Diego 的 BBS API 与 Diego 交 互 。Cloud Controller 涉 及 的 语义 和 逻辑 要 复杂 一 些 ， 现 阶段 通过 新 建 的 cc-bridge 与 Diego 交 互 ，cc-bridge 扮 演 了 翻译 官 的 角色 ， 将 Cloud Controller 的 语义 对 象 和 Diego 
的 语义 对 象 相互 转换 ， 并 且 保持 两 边 的 信息 共享 同步 。 研 发 团队 也 有 计划 对 Cloud Controller 重 构 以 便 直接 和 Diego BBS API 交 互 。 


司 3-2 显 示 了 基于 Diego 的 模块 架构 ， 这 也 是 与 Cloud Foundry 最 新 代码 保持 一 致 的 架构 图 。 
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图 3-2 ”Diego 的 模块 架构 


图 3-2 中 右边 部 分 的 模块 是 Diego 的 核心 ， 负 责 运 行 、 监 控 任务 和 LRP。 左 上 部 的 模块 简称 loggregator， 它 处 理 日 志和 度量 ， 将 日 志和 度量 信息 聚合 后 以 流 数据 实时 发 送 给 外 部 的 收集 和 监控 服务 。 


capi 包 含 管理 应 用 生命 周期 的 Cloud Controller 和 协调 Cloud Controller 与 Diego 同 步 的 cc-bridge。capi 之 下 是 consul 服 务 ， 用 于 服务 注册 与 发 现 ， 也 用 于 分 布 式 锁 同 步 。routing (路 由 ) 模块 负责 所 有 外 


部 和 内 部 、 应 用 和 系统 的 路 由 服务 。 


在 所 有 这 些 组 件 中 ， 只 有 ETCD 和 consu| 直 接 使 


了 开源 社区 的 产品 ， 其 他 模块 全 部 是 Cloud Foundry 团 队 自行 设计 研发 的 。 


下 面 详细 解释 Diego 中 的 各 个 模块 。 

(1) Diego 

1) brain 

brain 组 件 将 任务 和 进程 分 发 到 cell 组 件 ， 纠 正 实际 运行 的 进程 和 期 望 运行 的 进程 之 间 的 偏差 以 保证 容错 性 和 一 致 性 。brain 组 件 包含 auctioneer 和 converger 两 个 子 组 件 。 


2) auctioneer 和 converger 


auction 用 来 封装 任务 和 进程 以 提交 给 cell 执 行 ， 并 与 cell 的 rep 保 持 通信 ， 它 在 bbs 中 维护 一 个 锁 ， 以 保证 一 次 只 有 一 个 auctioneer 在 操作 auction。converger 分 析 来 自 bbs 的 快照 ， 保 证 任务 和 进程 的 
一 致 性 和 容错 性 以 及 运行 的 进程 和 期 望 的 进程 数量 一 致 。 如 果 期 望 的 进程 数 超过 了 实际 的 进程 数 ，converger 就 向 auctioneer 请 求 启动 一 个 auction; 如 果实 际 运行 的 进程 数 超过 了 期 望 的 进程 


数 ，cenverger 就 发 送 一 个 终止 的 消息 给 cell 中 运行 相应 进程 的 rep。 


converger 也 监控 可 能 丢失 的 消息 ， 如 果 需 要 就 重 发 。converger 在 bbs 中 维护 一 个 锁 ， 保 证 一 次 只 有 一 个 converger 在 调用 converge 方 法 。 


3) cell 


cell 管 理 和 维护 任务 与 进程 。 其 中 ，rep 在 auction 时 代表 一 个 cell， 协 调 cell 和 bbs 的 通信 ， 保 证 bbs 中 的 任务 与 进程 和 cell 的 容器 互相 同步 。rep 在 bbs 中 维护 cel| 的 生存 记录 ， 通 过 调 


本 地 的 executor 


创建 一 个 容器 ， 然 后 执行 相应 的 run action 操 作 来 实际 运行 任务 和 进程 。executor 是 rep 中 的 一 个 逻辑 进程 ， 实 现 了 泛 化 的 executor auction 方 法 ，executor 也 负责 把 应 用 的 标准 输出 和 错误 流 输出 到 cell 中 
的 metron-agent， 由 metro-agent 把 应 用 的 日 志 、 错 误 以 及 应 用 和 diego 系 统 组 件 的 度量 转发 给 loggregator doppler 组 件 。garden 提 供 了 一 个 平台 独立 的 容器 服务 ， 可 以 有 不 同 的 后 端 实现 ，garden- 


linux 实 现 了 一 个 Linux 平 台 的 garden 接 口 。 此 外 ， 还 有 一 个 garden-windows， 在 图 中 没有 画 出 来 。 


4) database 


bbs (bulletin board system) 实时 维护 Diego 集 群 的 状态 ， 包 括 所 有 期 望 的 进程 、 运 行 中 的 进程 和 运行 中 的 任务 ， 同 时 提供 一 个 基于 HTTP 的 RPC 风 格 的 API 给 Diego Core 和 外 部 客户 端 ， 外 部 客户 端 


包括 ssh-proxy、cc-bridge 和 route-emitter。ETCD 提 供 key-value 的 数据 存储 服务 ，BBS 维 护 的 数据 就 保存 在 etcd 中 。 


5) access 


file-server 提 供 静 态 文 件 的 存储 服务 ， 被 各 种 Diego 组 件 使 用 。ssh-proxy 提 供 SSH 客 户 端 和 容器 内 服务 端的 代理 连接 。 


(2) loggregator 


loggregator 中 的 doppler 和 traffic-controller 负 责 收集 和 聚合 日 志 与 度量 数据 ， 并 提供 接口 让 外 部 应 用 和 服务 持续 稳定 的 接收 这 些 数据 ， 第 8 章 将 会 详细 介绍 这 部 分 内 容 。 


(3) capi 


Cloud Controller 的 定位 和 功能 基本 保持 不 变 ， 提 供 APl 来 部 署 和 管理 应 用 ， 也 提供 对 Cloud Foundry 中 其 他 对 象 的 管理 AP1， 包 括 用 户 、 权 限 、Buildpack、service 等 。cc-bridge 部 分 负责 协调 Cloud 
Controller 和 Diego 的 交互 和 数据 同步 ， 特 别 是 会 将 Cloud Controller 处 理 的 应 用 相关 的 信息 转换 为 与 应 用 无 关 的 通用 的 描述 ， 这 样 Diego 就 只 需要 处 理 LRP 和 任务 这 两 种 大 的 应 用 类 型 ， 而 不 用 关心 具体 的 
应 用 差别 。 


stager 会 接收 来 自 Cloud Controller 的 应 用 准备 请 求 ， 并 将 请 求 转换 提交 给 Diego 的 bbs， 等 任务 完成 后 ， 给 Cloud Controller 发 送 一 个 回复 。 


cc-uploader 协 调 准备 应 用 时 对 所 有 文件 的 上 传 服务 ， 接 收 来 自 executor 的 指令 ， 转 换 为 Cloud Controller 所 需要 的 multipart-form 请 求 ， 然 后 发 送 给 Cloud Controller 执 行 。 


nsync 负 责 接收 应 用 实例 变化 请 求 ， 定 期 和 Cloud Controller 同 步 ， 以 便 Diego 知 道 最 新 的 应 用 实例 数据 ， 及 时 调整 。tps 负 责 收集 实际 运行 的 应 用 实例 数据 ， 提 供给 Cloud Controller 使 用 。 


(4) routing 


对 应 用 的 访问 ，Cloud Foundry 内 部 模块 之 间 的 通信 都 要 经 过 routing 模 块 。router 将 对 应 用 的 访问 请 求 正 确 路 由 到 一 个 Garden 容 器 中 运行 的 实例 ， 对 内 部 模块 和 服务 的 访问 也 需要 经 过 router 的 路 
由 。router-emitter 通 过 bbs 监 控 期 望 的 LRP 数 量 和 实际 运行 的 LRP 数 量 。 如 果 探测 到 任何 改变 ，route-emitter 就 发 出 一 个 路 由 注册 或 者 注销 的 消息 给 router。 为 了 保证 正确 性 ，route-emitter 也 定期 将 最 
新 的 路 由 表 全 部 发 送 给 router。 


(5) consul 


提供 通过 DNS 解析 的 动态 服务 注册 和 负载 均衡 ， 并 提供 key-value 的 数据 存储 ， 维 护 分 布 式 锁 和 组 件 。 


3.3 ”应 用 准备 和 运行 


Cloud Foundry 让 应 用 的 部 署 异 常 简单 ， 用 户 只 需要 使 用 一 个 简单 的 命令 cf push 就 可 以 将 一 个 应 用 推送 到 Cloud Foundry， 然 后 通过 域名 直接 访问 。 在 这 样 一 个 简单 的 命令 背后 ，Cloud Foundry 各 
个 模块 做 了 大 量 的 工作 ， 图 3-3 显 示 了 Cloud Foundry 部 署 一 个 Buildpack 应 用 的 全 过 程 。 


1) 在 应 用 目录 下 ， 开 发 者 在 命令 行 执行 cf push， 开 发 者 编写 一 个 manifest.yml 文 件 或 者 通过 参数 来 告诉 Cloud Foundry 一 些 和 应 用 运行 相关 的 元 信息 ， 例 如 域名 、 内 存 大 小 等 。 


2) 命令 行 工具 cf 告诉 Cloud Controller 创 建 一 个 新 应 用 。 


3) Cloud Controller 会 在 自己 的 数据 库 CCDB 中 创建 一 条 包含 该 应 用 元 信息 的 记录 ， 其 中 有 应 用 的 名 字 、 实 例 数量 、Buildpack 名 称 和 其 他 相关 信息 。 


4) 命令 行 工具 df 会 发 出 一 个 资源 匹配 请 求 给 Cloud Controller， 从 而 决定 该 应 用 的 文件 是 否 已 经 存在 于 系统 的 资源 缓存 中 。 如 果 文 件 完全 不 存在 或 者 部 分 不 存在 ，cf 就 开始 上 传 应 用 的 新 文件 或 者 已 经 


更 改 的 文件 ， 忽 略 已 经 存在 于 系统 资源 缓存 中 的 文件 。 新 上 传 的 文件 和 资源 缓存 中 原 有 的 文件 会 合并 为 应 用 包 (application package) 。 
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图 3-3 Cloud Foundry 部 署 一 个 Buildpack 应 用 的 过 程 


5) Cloud Controller 将 生成 的 应 用 包 保 存 到 Blobstore 中 。 


6) cf 发 出 一 个 应 用 启动 的 命令 。 注 意 ，cf push 命 令 会 自动 给 Cloud Controller 发 送 ， 用 户 也 可 以 在 push 时 选择 使 用 --no-start 选 项 ， 然 后 在 Push 完成 后 手动 执行 cf start 命 令 。 


7) 这 时 ，Cloud Controller 发 送 一 个 准备 (staging) 请 求 给 Diego， 由 Diego 调 度 一 个 cell 节 点 来 执行 准备 任务 (staging task) 。 该 任务 会 下 载 Buildpack 并 保存 到 Buildpack 的 缓存 。Cloud 
Foundry 会 自动 探测 与 应 用 最 匹配 的 Buildpack， 用 户 也 可 以 在 manifest.yml 文 件 或 者 cf push 命 令 中 通过 -b 选 项 来 指定 Buildpack。 


8) Diego 的 cell 节 点 会 将 全 部 准备 过 程 的 输出 以 流 式 数据 返回 给 用 户 ， 以 便 用 户 可 以 诊断 准备 过 程 出 现 的 任何 问题 。 


9) 准备 任务 会 将 完成 的 应 用 打包 成 一 个 droplet 并 保存 在 Blobstore 中 ， 也 会 将 Build-pack 缓 存 中 的 内 容 保存 到 Blobstore 中 ， 以 便 应 用 下 次 部 署 时 使 用 。 


10) Diego 的 bbs 会 将 准备 完成 的 消息 报告 给 Cloud Controller， 准 备 必须 在 15 分 钟 完 成 ， 否 则 就 认为 已 经 失败 。 每 个 应 用 会 被 分 配 1GB 的 内 存 来 准备 ， 即 使 应 用 所 需要 的 运行 时 内 存 比 1GB 小 。 


11) 到 这 个 时 候 ， 准 备 过 程 就 完成 了 ，Diego 会 启动 一 个 或 者 多 个 cell 节 点 来 运行 应 用 ， 这 时 的 应 用 就 是 一 个 LRP。 


12) Diego Cell 将 应 用 的 运行 状态 报告 给 Cloud Controller。 


至 此 ， 应 用 就 准备 运行 完成 。 可 以 看 到 ， 在 整个 过 程 中 ， 先 有 一 个 一 次 性 的 准备 任务 (Task) ， 然 后 运行 一 个 LRP，Diego 对 不 同 应 用 类 型 的 抽象 也 被 自身 使 用 到 了 。 


对 于 一 个 Linux 或 者 一 个 Windows 的 应 用 ， 这 个 过 程 是 完全 一 样 的 ， 唯 一 的 差别 是 Windows 的 应 用 在 调度 时 需要 选择 一 个 支持 Windows 的 cell。 


Cloud Foundry 也 支持 将 一 个 Docker 镜 像 部 署 到 Cloud Foundry， 其 过 程 是 和 Buildpack 类 型 的 应 用 相似 的 。 


在 上 述 Cloud Controller 通 知 Diego 调 度 cell 来 执行 准备 任务 或 者 运行 应 用 实例 时 ， 有 一 些 细节 需要 说 明 如 下 : 


1) Cloud Controller 把 准备 和 运行 应 用 的 请 求 发 送 给 cc-bridge (Cloud Controller Bridge) 。 


2 


cC-bridge 会 区 分 请 求 是 一 次 性 的 任务 (Task) 还 是 长 时 间 运 行 的 进程 (Long Running Processes, LRP) ， 然 后 将 相应 的 任务 或 者 进程 请 求 提交 到 bbs。 
3) bbs 提 交 任 务 和 进程 到 auctioneer。 


4 


auctioneer 通 过 一 个 auction 把 任务 和 LRP 提 交 给 一 个 cell 来 执行 ， 这 个 auction 就 是 指 各 个 cell 来 投票 竞标 想 要 执行 该 任务 或 者 LRP。 


5) 一 旦 auctioneer 把 任务 或 者 LRP 分 配给 一 个 cell，cell 中 的 一 个 进程 executor 就 会 在 cell 中 创建 一 个 容器 。 任 务 或 者 LRP 就 会 在 容器 中 运行 。 


6 


bbs 收 集 和 跟踪 期 望 的 LRP、 运 行 中 的 LRP 实 例 和 任务 ， 并 反馈 给 converger。converger 会 周期 性 地 分 析 这 些 信 息 并 且 纠 正 出 现 的 偏差 。 


34 Cloud Foundry 的 特色 


Cloud Foundry 有 着 宏伟 的 设计 目标 ， 希 望 能 够 颠覆 传统 的 软件 开发 、 部 署 和 运 维 方式 ， 让 开发 人 员 集中 在 自己 的 业务 逻辑 和 实现 上 ， 而 把 其 他 所 有 繁琐 但 是 不 可 缺少 的 运行 时 环境 的 准备 、 部 署 、 配 
置 、 扩 容 等 工作 交 给 Cloud Foundry 来 完成 ， 对 应 用 程序 的 发 布 、 暂 停 、 重 启 、 删 除 等 生命 周期 的 管理 工作 也 极其 简单 。Cloud Foundry 可 以 部 署 在 多 种 laaS 环 境 上 以 支持 各 种 类 型 的 应 用 ， 而 且 应 用 的 数 
量 可 以 多 达 几 十 万 。 俗 话说 ， 打 铁 还 需 自身 硬 ， 这 样 的 一 个 平台 自身 必须 要 有 良好 的 架构 ， 接 下 来 我 们 就 一 起 分 析 Cloud Foundry 在 架构 设计 上 的 特色 ， 从 而 说 明 这 样 一 个 Paas 产 品 如 何 支撑 起 这 样 的 应 


= 
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3.4.1 微服 务 


随 着 时 间 的 推移 ， 很 多 软件 产品 会 变 得 越 来 越 难以 维护 ， 大 的 改进 更 无 从 谈 起 。 笔 者 曾经 参与 过 一 个 产品 研发 ， 需 要 把 一 个 字段 的 长 度 从 8 位 变 为 64 位 ， 估 计 的 工作 量 超过 三 个 月 。 原 因 就 是 这 些 产品 
功能 丰富 、 模 块 复杂 ， 而 架构 又 属于 巨石 型 ， 互 相 之 间 的 依赖 环 环 相 扣 ， 牵 一 发 而 动 全 身 ， 甚 至 牵 一 发 都 不 确定 会 影响 到 哪里 。 许 多 伟大 的 公司 都 起 步 于 伟大 的 产品 ， 而 这 些 公司 的 衰落 很 大 程度 上 也 因为 
这 些 产品 ， 因 为 随 着 市 场 和 技术 的 变化 ， 产 品 没 有 做 到 顺势 而 变 。 公 司 的 决策 者 即使 看 到 了 新 技术 的 好 处 和 市 场 的 需求 ， 也 往往 因为 产品 的 设计 架构 ， 无 法 及 时 而 合理 地 改进 、 演 化 产品 ， 最 多 做 一 些 修 修 
补 补 ， 甚 至 是 牺牲 性 能 和 可 用 性 来 添加 一 点 点 功能 。 这 就 好 比 是 用 木头 搭建 的 房子 ， 随 着 时 间 的 推移 ， 木 头 已 经 不 堪 重 负 ， 但 是 却 无 法 替换 其 中 承重 的 柱子 和 房 粱 ， 因 为 那样 可 能 会 让 房子 塌 得 更 快 。 


微服 务 的 架构 可 以 解决 这 样 的 问题 ， 非 常 适合 这 样 的 产品 演进 。 在 微服 务 架构 下 ， 产 品 的 功能 模块 之 间 松 耦合 ， 通 过 独立 部 署 的 服务 API 相 互 关 联 ， 把 一 个 产品 的 演进 替换 为 各 个 独立 的 服务 模块 的 演 
进 。 无 论 模块 内 部 如 何 重 构 ， 只 要 保持 API 的 兼容 ， 就 可 以 保证 对 产品 其 他 模块 和 整体 功能 没有 影响 。 这 样 的 产品 就 具备 了 持续 稳定 的 演进 能 力 ， 在 时 间 、 人 力 和 成 本 可 控 的 范围 内 ， 可 以 迭代 改进 产品 。 即 
使 对 一 个 服务 模块 做 出 大 规模 重 构 ， 甚 至 完全 重 写 ， 也 是 可 以 接受 的 。 


Cloud Foundry 就 采用 了 这 样 的 微服 务 架构 。 无 论 是 面向 用 户 的 模块 (如 router) ， 还 是 产品 内 部 使 用 的 服务 (如 etcd 和 consul) ， 都 是 可 以 独立 部 署 的 微服 务 。Cloud Foundry 的 许多 模块 都 被 重 写 
或 者 经 历 了 大 的 重 构 ， 但 是 这 些 改动 都 没有 影响 产品 的 持续 发 布 ， 这 都 得 益 于 微服 务 架 构 。 例 如 ， 在 用 Go 语言 对 router 重 写 期 间 ， 原 有 的 用 Ruby 编 写 的 router 还 在 服务 ， 直 到 被 新 的 gorouter 蔡 换 。 日 志 
和 度量 数据 的 收集 与 分 发 对 开发 人 员 一 直 是 一 个 巨大 的 挑战 ， 原 来 的 设计 是 每 个 节点 配备 一 个 collector 服 务 ， 这 样 设 计 的 潜在 问题 是 有 的 节点 负载 很 大 、 功 能 很 多 ， 一 个 collector 服 务 处 理 不 了 ， 其 他 节点 
的 collector 又 不 在 本 地 ， 帮 不 上 忙 。 于 是 ， 开 发 人 员 考 虑 重 写 这 一 部 分 ， 在 每 个 节点 上 部 署 轻 量 的 日 志和 度量 转发 代理 ， 基 本 上 什么 操作 都 不 做 ， 只 是 把 节点 的 数据 转发 到 可 扩展 的 doppler， 由 doppler 和 
相关 的 loggregator 服 务 对 数据 进行 聚合 并 派发 给 需要 的 客户 端 。 这 样 的 改动 需要 的 时 间 比 较 长 ， 但 是 可 以 放心 大 胆 地 去 做 。 


man 


UAA 是 另外 一 个 例子 。 作 为 用 户 授权 和 认证 的 基础 服务 ，UAA 可 以 单独 地 部 署 、 测 试 和 开发 。 和 其 他 模块 不 同 ，UAA 依 然 用 Java 编 写 。 这 是 微服 务 架 构 带 来 的 另外 一 个 好 处 ， 每 个 模块 可 以 根据 模块 的 
业务 逻辑 和 技术 需求 选择 合适 的 语言 和 框架 ， 不 用 刻意 和 其 他 模块 保持 一 致 。 


Diego 是 Cloud Foundry 开 发 过 程 中 规模 最 大 的 一 个 重 构 模块 ， 本 身 由 多 个 更 小 的 服务 组 成 ， 用 来 蔡 代 原 有 的 应 用 调度 、 部 署 和 运行 的 DEA 服 务 。 即 使 Diego 很 重要 ， 也 只 是 一 部 分 团队 在 参与 ， 其 他 
团队 仍然 要 在 DEA 的 基础 上 改进 自己 的 模块 服务 。 等 Diego 发 布 之 后 ， 再 对 现 有 的 产品 进行 升级 ， 将 现 有 的 部 署 、 运 行 在 DEA 中 的 所 有 应 用 迁移 到 Diego 中 ， 等 所 有 应 用 都 迁移 完成 后 ， 再 将 DEA 节 点 删除 。 
Diego 团 队 开发 出 了 卓越 的 工具 ， 只 需要 一 个 命令 就 可 以 把 应 用 迁移 到 Diego 中 ， 也 只 需要 一 个 配置 就 可 以 告诉 平台 新 的 应 用 是 部 署 在 DEA 中 还 是 Diego 中 。 可 以 看 到 ， 像 这 样 规 模 的 重 构 和 重 写 ， 对 其 他 团 
队 、 模 块 和 整个 产品 的 发 布 、 运 行 的 影响 都 是 可 控 的 ， 甚 至 影响 很 小 。 微 服务 的 架构 再 次 功 不 可 没 。 


Cloud Foundry 依 赖 几 十 个 服务 模块 ， 由 分 布 在 全 球 的 40 多 个 小 团队 协作 开发 。 微 服务 的 架构 设计 减少 了 团队 之 间 的 干扰 ， 让 他 们 可 以 集中 精力 把 模块 优化 到 最 佳 状态 ， 并 且 能 够 从 一 个 通用 服务 的 角 
度 去 思考 如 何 为 自己 的 客户 和 整个 产品 提供 价值 。 服 务 与 服务 只 有 调用 关系 ， 没 有 启动 依赖 关系 。 
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可 以 预见 ， 这 样 的 一 个 产品 是 会 有 很 长 的 生命 周期 的 。 它 可 以 灵活 而 及 时 地 把 最 新 的 技术 引进 产品 ， 也 可 以 根据 市 场 和 客户 的 需求 对 产品 不 断 增 强 。 如 果 您 正在 为 公司 的 基础 平台 选 型 ， 那 么 建议 您 除 
了 比较 产品 现 有 的 特性 外 ， 还 应 该 考虑 一 下 产品 的 潜力 ， 看 看 这 款 产品 是 否 可 以 持续 稳定 地 不 断 演进 从 而 适应 未 来 的 新 需求 。 


3.4.2 可 伸缩 


作为 一 个 PaaS 平 台 ， 能 够 支撑 多 少 应 用 是 许多 用 户 关心 的 一 个 指标 。Cloud Foundry 当 前 的 版 本 可 以 支撑 多 达 数 十 万 个 应 用 ， 不 远 的 将 来 可 以 支持 更 多 应 用 。Cloud Foundry 之 所 以 可 以 支撑 这 么 多 应 
用 ， 得 益 于 它 的 每 个 核心 模块 都 是 可 水 平 伸缩 的 ， 即 可 以 随意 添加 或 者 删除 。 这 里 最 重要 的 是 Diego 的 cell 节 点 ，cell 用 来 创建 和 分 配 容器 ， 然 后 让 应 用 在 容器 中 运行 ， 在 下 面 我 们 会 详细 介绍 。cell 良 好 的 可 
伸缩 性 是 通过 下 面 三 个 特性 实现 的 。 


1. 无 状态 


这 是 很 多 可 伸缩 模块 的 一 种 常见 实现 。 虽 然 每 个 cell 上 都 运行 着 大 量 的 应 用 ， 但 这 些 应 用 的 元 数据 和 状态 信息 并 没有 保存 在 cell 内 ， 而 是 保存 在 高 可 用 、 可 伸缩 的 共享 存储 数据 库 etcd 中 。 这 样 ， 即 使 删 
除 一 个 cell 节 点 ， 应 用 仍然 可 以 重新 部 署 启动 在 另外 一 个 cell 上 。 


2. 自 平衡 


对 于 一 个 多 节点 的 集群 来 说 ， 平 衡 性 非常 重要 ， 一 个 不 平衡 的 集群 会 把 一 些 节点 “ 累 垮 ”， 而 另外 一 些 节 点 “无 所 事 事 ”。Diego 实 现 了 一 个 分 布 式 竞标 的 机 制 来 保证 cell 节 点 的 平衡 。 每 次 需要 部 署 一 
个 新 的 应 用 时 ， 由 auctioneer 发 起 竞标 ， 每 个 cell 的 rep 来 投标 ， 提 供 自 己 的 负载 和 应 用 部 署 信息 ， 得 分 最 高 的 cell 会 被 选中 部 署 应 用 。 图 3-4 显 示 了 Diego 多 cell 的 平衡 测试 ， 可 以 看 到 ， 应 用 的 实例 在 cell 中 
分 布 很 均匀 。 
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图 3-4 Diego 多 cell 的 平衡 测试 


3. 抽 水 机 制 


为 了 减少 对 系统 的 影响 ，BOSH 提 供 了 一 种 抽水 机 制 来 提示 运行 中 的 进程 ， 将 会 有 一 些 维护 性 的 工作 ， 需 要 重启 当前 进程 甚至 当前 节点 。 这 样 ， 该 进程 就 可 以 执行 一 些 操作 ， 让 自己 处 于 一 个 空闲 的 状 


处 于 一 致 稳定 状态 ， 保 证 用 户 所 设 定 的 应 用 实例 完整 运行 ， 但 需要 的 时 间 和 对 系统 的 干扰 相对 多 一 点 。 抽 水 设计 保证 了 系统 以 最 小 的 变化 而 且 是 设计 中 的 变化 来 支持 持续 的 升级 维护 。 
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企业 基础 平台 的 维护 是 非常 重要 的 ， 有 些 企业 为 了 一 次 升级 维护 可 能 需要 准备 几 个 月 的 时 间 ， 在 测试 环境 中 反复 测试 ， 到 生产 环境 上 操作 时 也 小 心 罩 田 。 尤 其 是 有 些 生产 环境 对 可 用 性 要 求 很 高 (要求 
达到 99% 或 者 99.9%) 。 如 果 可 用 性 要 求 是 99.9%， 那 么 一 年 内 的 宕 机 时 间 不 能 超过 10 个 小 时 。 所 以 ， 对 很 多 产品 和 运 维 工 程 师 而 言 ， 升 级 更 新 是 一 个 高 风险 的 操作 。 


Cloud Foundry 在 设计 之 初 就 考虑 到 了 系统 的 运 维 ， 团 队 评 估 了 现 有 的 各 种 部 署 运 维 自动 化 工具 ， 决 定 自己 动手 设计 和 实现 BOSH， 这 是 一 个 通用 的 大 型 分 布 式 系统 的 编排 、 部 署 、 监 控 工具 ， 可 以 在 
多 个 laas 平 台 上 运行 。 在 后 面 的 内 容 中 我 们 会 详细 介绍 BOSH。 


借助 BOSH， 对 Cloud Foundry 进 行 运 维 就 变 得 很 轻松 ， 可 以 持续 不 断 地 对 一 个 产品 环境 进行 升级 维护 ， 在 不 断 引 入 新 功能 的 同时 ， 保 证 系统 的 安全 可 靠 。 


1 .部署 


用 BOSH 部 署 Cloud Foundry 时 ， 需 要 下 载 Cloud Foundry 的 发 布 包 和 一 个 Stemcell (可 以 看 做 一 个 虚拟 机 的 镜像 ) ， 并 编写 一 个 部 署 文件 (描述 了 每 个 模块 的 实例 数量 、 配 置 、 网 络 、 存 储 等 ) 。 做 
好 这 些 准备 之 后 ， 只 需要 使 用 命令 BOSH deploy 就 可 以 开始 全 自动 化 部 署 。 从 虚拟 机 的 创建 开始 一 直到 负载 均衡 的 配置 ， 都 由 BOSH 自 动 完 成 。 


很 多 产品 的 部 署 、 安 装 需要 做 大 量 的 配置 工作 ， 这 些 配置 信息 分 散在 不 同 的 配置 文件 和 路 径 下 。Cloud Foundry 避 免 了 这 个 问题 ， 所 有 的 配置 信息 只 需要 一 个 配置 文件 来 描述 ， 从 而 避免 了 信息 的 碎片 
化 ， 查 看 和 更 改 方便 快捷 。 


2 升级 


很 多 生产 环境 的 升级 都 采用 离线 的 方式 ， 先 用 新 的 版 本 搭建 一 个 对 等 的 环境 ， 之 后 同步 生产 环境 的 数据 ， 然 后 切换 路 由 。 这 个 过 程 浪费 了 大 量 资 源 ， 也 引入 很 多 手工 操作 ， 存 在 不 确定 性 和 出 错 的 风 
险 。Cloud Foundry 改 变 了 这 一 模式 ， 它 不 仅 可 以 支持 在 线 升级 ， 同 时 支持 自动 化 的 升级 。 


如 果 你 的 Cloud Foundry 按 照 高 可 用 的 方式 部 署 ， 那 么 升级 Cloud Foundry 是 一 个 低 风 险 的 操作 。BOSH 采 用 灰 度 升级 的 方法 ， 即 对 同一 个 模块 的 实例 ， 会 根据 配置 先 升 级 一 个 或 者 一 部 分 实例 ， 如 果 
没有 出 现 问题 ， 就 继续 更 新 ;如 果 出 错 ， 则 马上 停止 更 新 其 他 实例 。 同 时 ， 在 升级 这 些 选中 实例 的 时 候 ， 其 他 实例 不 受 影响 。 在 升级 过 程 中 ， 负 载 均 衡 会 自动 更 新 ， 把 流量 导向 正常 工作 的 实例 。 


oud Foundry 的 更 新 可 以 看 做 一 个 增 量 的 最 小 化 更 新 过 程 。 如 果 是 更 换 实 例 的 虚拟 机 类 型 ， 那 么 需要 删除 虚拟 机 并 按 新 的 类 型 重新 创建 。 对 于 其 他 类 型 的 更 新 ， 都 在 现 有 的 虚拟 机 上 更 新 受 影响 的 文 
件 并 且 重 启 服务 。 这 样 的 更 新 策略 能 保证 大 多 数 情况 下 的 升级 很 快 完成 。 


a 


Cloud Foundry 的 升级 有 不 同 的 类 型 包括 产品 本 身 的 升级 、 底 层 虚 拟 机 镜像 Sttemcell 的 升级 、 虚 拟 机 配置 和 数量 的 升级 以 及 运行 时 环境 的 升级 等 。 所 有 这 些 升级 都 通过 简单 的 BOSH 和 CF 命令 来 完 
成 。 在 我 们 运 维 Pivotal Web Service 的 过 程 中 ， 几 乎 每 两 周 就 对 产品 环境 在 线 升级 一 次 。2015 年 的 统计 数字 表明 ，Pivotal Web Service 的 可 用 性 超过 了 99.95%。 


Cloud Foundry 将 应 用 和 平台 严格 区 分 ， 应 用 只 负责 自己 的 业务 逻辑 ， 其 他 所 有 支撑 应 用 运行 的 运行 时 环境 、 容 器 等 都 归 平台 管理 ， 具 体 来 说 ， 就 是 支持 应 用 运行 的 Buildpack 和 运行 应 用 的 garden 容 
器 ， 所 有 安全 补丁 也 由 平台 统一 来 部 署 ， 应 用 只 会 在 补丁 完成 后 重新 启动 以 获得 新 的 容器 和 Buildpack。 如 果 应 用 有 高 可 用 性 需求 ， 就 至 少 部 署 两 个 实例 ， 这 样 在 升级 重启 时 通过 灰 度 升级 就 保证 了 至 少 有 一 
个 实例 可 用 。 有 一 些 Paas 平 台 的 做 法 恰恰 相反 ， 把 安全 补丁 的 责任 交 给 应 用 开发 者 ， 发 现 安全 问题 后 ， 只 提供 一 份 详细 的 说 明文 档 提醒 开发 者 自己 去 重新 生成 并 部 署 应 用 。 相 比 之 下 ，Cloud Foundry 的 设 
计 更 加 高 效 而 实用 。 


借助 BOSH 和 Concourse， 可 以 实现 对 Cloud Foundry 的 自动 化 升级 ， 只 需要 点 一 个 按钮 ， 就 可 以 启动 对 这 样 一 个 大 型 平台 的 升级 。 图 3-5 显 示 了 升级 步骤 。 
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3-5 Cloud Foundry 的 自动 化 升级 


3. 回 滚 


Cloud Foundry 有 完备 的 测试 ， 包 括 回归 测试 和 产品 的 质量 方面 的 保证 测试 等 。 即 使 因为 环境 、 配 置 等 各 种 因素 ， 导 致 升级 失败 ， 也 不 是 一 件 可 怕 的 事情 。 因 为 升级 是 灰 度 升级 ， 完 全 不 会 影响 平台 的 
可 用 性 。 同 时 ， 可 以 很 快 回 滚 。Cloud Foundry 支 持 回 滚 部 署 ， 只 需要 把 配置 文件 回 滚 为 上 次 成 功 部 署 的 文件 ， 再 执行 一 次 bosh deploy 命 令 ， 平 台 就 自然 回 滚 到 上 一 次 成 功 部 署 的 状态 。 


4. 日 志和 度 


Cloud Foundry 提 供 了 完备 的 日 志和 丰富 的 度量 ， 帮 助 运 维 团队 监控 和 管理 平台 。 通 过 简单 的 配置 ， 系 统 级 的 日 志和 度量 就 可 以 聚合 输出 到 第 三 方 管理 工具 ， 例 如 logsearch、datadog 和 opentsdb 
$$, Cloud Foundry 中 应 用 的 日 志 可 以 通过 CLI 命 令 cf logs 查 看 ， 也 可 以 通过 图 形 化 界面 app manager 查 看 。Pivotal 也 开发 了 PCF metrics 对 照 查看 应 用 的 事件 、 日 志和 度量 ， 协 助 问题 分 析 ， 如 图 3-6 所 
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344 高 可 用 


2015 年 ， 有 两 家 互联 网 公司 的 服务 中 断 事件 引起 大 家 的 关注 。 一 家 是 
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图 3-6 Cloud Foundry 的 日 志和 度量 


viewing lost 5 minutes 


为 光缆 被 挖 导致 服务 中 断 ， 两 个 小 时 后 通过 分 流 恢复 服务 。 另 一 家 的 情况 则 更 加 麻烦 ， 


为 误 操作 导致 11 个 小 时 后 才 完 全 恢复 。 


在 高 手 云集 和 资金 充裕 的 大 型 互联 网 公司 中 ， 要 保持 系统 的 高 可 用 和 尽快 恢复 系统 尚且 如 此 不 易 ， 说 明 高 可 用 性 看 上 去 很 美 ， 但 实现 起 来 不 容易 。 在 很 多 分 析 和 总 结 上 面 两 个 事件 的 文章 中 ， 大 家 都 谈 到 了 
， 其 中 部 署 的 应 用 不 计 其 数 、 错 综 复杂 。 即 使 运 维 人 员 经 常 维护 升级 系统 ， 要 恢复 服务 也 肯定 颇 费 周折 ， 运 维 人 员 面临 巨大 的 压力 。 


系统 的 复杂 程度 ， 


一 种 理想 的 情况 是 ， 有 这 样 一 个 平台 ， 它 能 够 部 署 和 管理 所 有 应 
松 完成 。Cloud Foundry 就 是 这 样 一 个 成 熟 的 平台 ， 从 每 个 层次 都 可 以 保证 高 可 用 。 


1. 应 用 的 高 可 用 


在 Cloud Foundry 中 ， 可 以 配置 运行 应 用 的 多 个 实例 ， 提 高 应 用 


3-7 所 示 。 


的 可 用 性 ， 并 且 负 载 均衡 。 更 进一步 ，Cloud Foundry 会 将 同一 个 应 用 的 多 个 实例 运行 在 不 同 的 可 用 区 域 (Availability Zone) ， 如 图 


应 用 实例 和 可 用 区 域 


用 ， 保 证 这 些 应 用 的 高 可 用 性 ， 而 且 平台 本 身 也 足够 健壮 。 即 使 运气 很 差 ， 一 个 数据 中 心 出 现 灾 难 性 故障 ， 换 个 地 方 恢 复 系统 也 可 以 轻 


应 用 实例 均衡 地 
分 布 在 两 个 可 用 
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图 3-7 应 用 实例 和 可 用 区 域 


Cloud Foundry 会 持续 收集 应 用 的 状态 ， 如 果 应 用 故障 ，Cloud Foundry 会 把 请 求 自动 切换 到 可 用 的 实例 上 ， 并 且 马 上 重新 启动 一 个 应 用 。 图 3-8 显 示 的 是 基于 DEA 的 原理 ， 对 于 Diego 有 类 似 的 实现 。 


蔡 换 故障 应 用 实例 
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3-8 替换 故障 应 用 实例 


Cloud Foundry 还 可 以 根据 应 用 的 负载 情况 自动 添加 实例 ， 这 样 晓 时 大 流量 也 能 处 理 自如 。 所 有 这 些 功 能 ， 都 只 需要 通过 简单 的 配置 来 设 定 ，Cloud Foundry 会 自动 完成 应 用 的 扩容 ， 如 图 3-9 所 示 。 


PIVOTAL ”AUTOSCALE 
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INSTANCES iG Configure scaling settings 
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LAST EVENT :三 
Minimum instance limit of 2 reached 
09/12/14 @ 18:42:47 UTC 
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2 .数据 的 高 可 用 


数据 服务 的 高 可 用 更 为 重要 ，Pivotal 增 强 了 MySQL 数 据 库 集群 (如 图 3-10 所 示 ) ， 并 且 可 以 很 容易 地 部 署 为 Cloud Foundry 所 用 。 社 区 也 提供 了 其 他 高 可 用 的 数据 服务 ， 可 以 在 Github 上 找到 这 些 服 
务 。 
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3 .平台 的 高 可 用 


Cloud Foundry 作 为 平台 ， 可 以 欧 奖 业 业 地 上 监控 和 维护 应 用 与 服务 ， 那 它 自身 的 可 用 性 怎么 样 呢 ? Bio, Cloud Foundry 在 设计 时 就 特别 注意 可 用 性 ， 每 个 模块 都 可 以 部 署 多 个 实例 ， 如 图 3-11 所 示 。 


3e FL AR 
每 个 实例 有 更 多 内 存 和 磁盘 


水 平 伸缩 -> 更 多 实例 


图 3-11 Cloud Foundry 每 个 模块 都 可 以 部 署 多 个 实例 


同时 ， 还 有 一 个 巨人 在 默默 地 监控 和 维护 着 Cloud Foundry， 这 就 是 BOSH 系 统 (如 图 3-12 所 示 ) 。BOSH 用 来 部 署 Cloud Foundry， 同 时 监控 Cloud Foundry 所 有 的 虚拟 机 和 服务 ， 保 证 其 可 靠 、 可 
用 。 有 了 BOSH，Cloud Foundry 中 的 任何 模块 ， 甚 至 整个 节点 的 失败 都 可 以 被 自动 恢复 重建 。 在 后 面 的 章节 中 将 详细 介绍 BOSH 和 安装 部 署 。 
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图 3-12 Cloud Foundry BOSH 的 作用 


那 如 果 BOSH 出 现 故障 怎么 办 呢 ? BOSH 的 设计 也 是 高 可 用 、 高 容错 的 ，BOSH 中 的 每 个 组 件 都 可 以 部 署 多 个 实例 ， 而 且 Dr. Nic 贡 献 了 双 BOSH 设 计 ， 就 是 让 两 个 BOSH 系 统 互相 监控 ， 这 样 谁 也 不 会 悄 
悄 地 挂 掉 。 如 图 3-13 所 示 。 
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图 3-13” 双 BOSH 设 计 


4. 系 统 恢复 


有 了 BOSH 和 Cloud Foundry， 在 一 个 新 的 环境 下 恢复 系统 只 需要 使 用 如 下 命令 : 


bosh deploy 


如 果 只 有 一 些 节 点 有 问题 ， 需 要 修复 ， 那 也 只 要 使 用 一 个 命令 : 


bosh cck 


345 可 扩展 


Cloud Foundry 的 设计 处 处 体现 了 可 扩展 和 松 耦 合 。 以 UAA 使 用 的 数据 库 为 例 ， 既 可 以 是 PostgreSQL， 也 可 以 是 MySQL; 既 可 以 是 云 平台 上 的 一 个 数据 库 实 例 ， 也 可 以 是 内 部 部 署 的 一 个 数据 库 。 一 
个 可 扩展 的 Cloud Foundry 不 仅 让 大 家 可 以 看 到 产品 现在 具有 的 功能 ， 也 让 大 家 相信 产品 将 来 还 会 有 很 多 的 功能 ， 因 为 实现 这 些 扩展 的 功能 并 不 困难 。 


1.CPI 


Cloud Foundry 借 助 BOSH 可 以 部 署 在 AWS、OpenStack 和 vSphere 上 ， 后 来 陆续 实现 了 更 多 的 BOSH CPI， 可 以 部 署 在 Microsoft Azure 和 IBM Softlayer 上 ， 对 Google Cloud Platform 的 支持 也 在 
开发 中 。CPI 提 供 了 BOSH 和 laaS 平 台 之 间 的 交互 接口 ， 如 果 需 要 部 署 在 一 个 新 的 laaS 平 台 上 ， 就 实现 一 个 针对 这 个 平台 的 CPl。 实 现 这 样 一 个 CPI 并 不 麻烦 ，Softlayer CPI 的 代码 只 有 5000 多 行 ， 加 上 测试 
程序 也 不 过 12000 多 行 。 完 整 的 CPI API 请 参考 http://bosh.io/docs/cpi-api-v1.html。 


到 3-14 概 括 了 BOSH CPl 是 如 何 让 BOSH 支 持 多 个 laaS 云 平台 的 。 每 个 云 平台 都 有 功能 类 似 但 是 完全 不 一 样 的 APl， 例 如 创建 虚拟 机 或 者 加 载 磁盘 。 通 过 BOSH CPI， 所 有 差异 都 被 屏蔽 ， 对 服务 开发 者 
或 者 Cloud Foundry 而 言 ， 它 们 看 起 来 都 是 一 样 的 接口 。 
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图 3-14 Cloud Foundry CPI 让 BOSH 支 持 多 个 IaaS 云 平台 


Cloud Foundry 通 过 CPI 屏 蔽 了 底层 laaS 的 细节 ， 真 正 做 到 了 云 时 代 的 跨 平 台 。 这 类 似 于 Java， 不 论 底层 操作 系统 是 什么 ， 用 Java 编 写 的 程序 都 可 以 运行 ， 只 要 在 该 操作 系统 上 有 一 个 对 应 的 Java 虚 拟 
机 即 可 。Cloud Foundry 就 类 似 于 Java 虚 拟 机 ， 可 以 部 署 到 Cloud Foundry 的 应 用 ， 就 可 以 部 署 到 所 有 Cloud Foundry 支 持 的 laas 平 台 ， 不 论 是 公有 云 还 是 私有 云 。 软 件 开发 者 可 以 考虑 把 自己 的 应 用 和 
品 迁 移 到 Cloud Foundry， 需 要 的 工作 量 很 少 ， 但 却 有 更 多 的 应 用 场景 ， 从 而 吸引 更 多 用 户 。 


BOSH 研 发 团队 公开 了 BOSH CPI 的 项 目 进 展 和 路 线 图 ， 可 以 在 如 下 地 址 看 到 最 新 的 BOSH CPI 的 信息 : https://www.pivotaltracker.com/n/projects/1133984, 


2.Buildpack 


Buildpack 是 体现 Cloud Foundry 可 扩展 性 的 另 一 个 特性 。Cloud Foundry 提 供 了 丰富 的 运行 时 Buildpack， 包 括 Java、PHP、Python、Ruby、Go、NodeJs、 二 进 制 、 静 态 文件 等 常见 运行 时 ， 社 区 
也 贡献 了 R、Swift、Erlang 等 运行 时 。 在 Cloud Foundry 部 署 完 成 后 ， 就 可 以 同步 安装 这 些 Buildpack， 甚 至 可 以 选择 安装 离线 的 Buildpack。 这 样 ， 在 开发 、 测 试 、 和 运 维 团 队 就 可 以 直接 使 用 ， 节 省 时 间 
和 空间 。 


要 实现 一 个 自己 的 Buildpack 并 不 困难 。Buildpack 包 含 三 部 分 功能 : 检测 、 编 译 和 发 布 。 检 测 是 根据 一 些 特定 文件 等 条 件 来 确定 一 个 应 用 是 否 适 用 于 Buildpack， 编 译 是 将 源码 编译 打包 成 一 个 称 为 
Droplet 的 包 ， 运 行 时 直接 使 用 ， 发 布 时 提供 一 些 应 用 的 元 信息 给 Cloud Foundry， 用 于 应 用 的 启动 。 如 果 想 要 实现 一 个 自 定义 的 Buildpack， 请 参 
#https://docs.cloudfoundry.org/buildpacks/custom.html, 


图 3-15 对 比 了 基于 Buildpack 的 结构 化 PaaS 和 类 似 Docker 的 非 结构 化 PaaS。 通 过 Buildpack，Cloud FoundryfitkS T MAERA AAR FRSA TINS, HSL BTR EARS 
可 以 单独 更 新 、 维 护 ， 每 次 只 需要 做 很 少 的 操作 、 执 行 很 小 的 修改 。 


3.Service 


Service 是 一 个 被 广泛 使 用 的 词语 ， 在 Cloud Foundry 的 生态 中 ，Service 是 指 可 以 被 动态 部 署 、 按 需 使 用 的 资源 。 数 据 库 是 一 个 典型 的 Service， 很 多 应 用 都 需要 一 个 数据 库 来 持久 化 存储 数据 。Cloud 
Foundry 期 望 的 服务 可 以 覆盖 很 广泛 的 资源 ， 强 调 以 一 致 的 方式 给 应 用 提供 资源 ， 而 不 用 关心 具体 的 实现 方法 。 对 于 数据 库 服务 而 言 ， 实 现 者 可 以 在 用 户 需要 时 ， 实 时 部 署 一 个 新 的 数据 库 实例 ， 或 者 在 现 
有 的 实例 上 创建 一 个 新 的 数据 库 给 用 户 使 用 。 借 助 Service，Cloud Foundry 可 以 将 与 应 用 相关 的 或 者 应 用 需要 的 计算 、 存 储 等 不 同类 型 的 资源 在 一 个 市 场 中 管理 ， 在 应 用 需要 时 随时 创建 、 分 配 和 使 用 ， 从 
而 实现 云 计 算 的 一 些 核心 价值 ， 例 如 资源 共享 、 按 需 分 配 等 ， 同 时 也 极 大 地 缩短 了 需要 资源 和 使 用 资源 的 时 间 。 
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图 3-15 ”基于 Buildpack 的 结构 化 Paas 和 基于 Docket 的 非 结构 化 Paas 


通过 编写 并 部 署 一 个 Service broker， 就 可 以 把 任意 服务 加 入 到 Cloud Foundry 的 市 场 中 。 例 如 ， 企 业 需 要 MySQl 数 据 库 ， 那 么 就 可 以 通过 部 署 一 个 MySQL 实 例 和 相关 的 broker， 让 企业 所 有 的 产品 
和 开发 人 员 都 使 用 MySQL 服 务 ， 而 且 不 需要 任何 人 工 干预 ， 创 建 、 绑 定 、 使 用 和 销毁 工作 都 可 以 通过 简单 的 命令 完成 ， 做 到 完全 自我 服务 。 在 第 9 章 中 ， 我 们 会 详细 说 明 如 何 构建 一 个 Cloud Foundry 的 


Service。 


4.CLI 


类 似 于 Service 和 Buildpack，CLI 的 功能 也 可 以 通过 插件 的 方式 进行 扩展 。 以 Diego 的 插件 为 例 ，Diego 团 队 在 发 布 Diego 功 能 的 时 候 也 同时 发 布 了 Diego 的 CUHI 播 件 ， 方 便 Cloud Foundry 的 现 有 用 户 平 
滑 升 级 到 Diego。 只 需要 按照 下 面 的 命令 操作 : 


$ cf add-plugin-repo CF-Community http://plugins.cloudfoundry.org/ 
$ cf install-plugin Diego-Enabler -r CF-Community 


这 样 ，Cloud Foundry 的 运 维 人 员 就 可 以 使 用 下 面 的 一 系列 命令 来 管理 和 升级 应 用 到 Diego: 


cf enable-diego App Name 
cf disable-diego App Name 


用 户 可 以 在 这 里 浏览 所 有 社区 贡献 的 CU 插件 http://plugins cloudfoundry org/。 


如 果 想 要 实现 一 个 自己 的 插件 ， 请 参考 https://docs.cloudfoundry.org/cf-cliydevelop-cli-plugins.html， 主 要 的 工作 是 需要 实现 这 样 的 一 个 
API: https://github.com/cloudfoundry/cli/blob/master/plugin/plugin.go, 


34.6 ”容器 化 


容器 提供 了 比 虚 拟 机 更 轻 量 的 隔离 技术 ， 让 运行 在 同一 个 主机 上 的 多 个 容器 可 以 共享 操作 系统 内 核 ， 著 名 的 容器 技术 包括 Docker 和 Cloud Foundry 使 用 的 Garden， 许 多 公司 也 实现 了 自己 的 容器 。 为 
了 避免 容器 的 不 兼容 性 ， 促 进 技术 的 有 序 发 展 ，Docker、Pivotal、Amazon、Google、EMC、VMWARE、Oracle 等 公司 和 组 织 发 起 了 一 个 开放 容器 技术 倡议 OC1， 目 标 是 建立 一 个 容器 镜像 的 标准 。 这 样 
不 同 的 容器 引擎 都 可 以 拥有 用 户 的 镜像 。 这 类 似 于 浏览 器 ， 所 有 的 浏览 器 都 实现 了 HTML 标 准 ， 所 以 任何 一 个 浏览 器 都 可 以 打开 标准 HTML 网 页 。 支 持 OCI 的 公司 如 图 3-16 所 示 。 
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图 3-16 ”支持 OCI 的 公司 
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Cloud Foundry 没 有 使 用 Docker 等 容器 ， 而 是 开发 和 实现 了 自己 的 容器 技术 Garden。 原 因 是 Cloud Foundry 对 容器 的 使 用 和 开发 早 于 Docker， 而 且 有 自己 特有 的 设计 要 求 ， 简 单 、 不 依赖 于 后 台 守 护 
进程 和 支持 多 样 化 的 后 端 。Cloud Foundry 各 个 模块 之 间 有 清晰 的 责任 分 工 ， 容 器 只 需要 提供 一 个 轻 量 隔离 空间 来 运行 应 用 程序 ， 不 必 承 担 持久 化 存储 和 网 络 访问 等 非 容器 核心 功能 ， 尽 管 作为 平台 来 说 ， 
这 些 功能 都 需要 ， 但 是 Cloud Foundry 的 研发 人 员 认 为 这 些 功能 最 好 由 调度 层 Diego 来 实现 ， 从 而 让 容器 本 身 尽 可 能 简单 。 这 样 的 设计 和 实现 使 得 Garden 容 器 可 以 很 轻便 地 集成 到 其 他 产品 中 ， 例 如 持续 集 


成 和 发 布 的 产品 Concourse 也 使 用 了 Garden 容 器 。 


Cloud Foundry 还 对 容器 技术 有 更 高 的 需求 ， 即 使 创建 和 管理 容器 的 进程 不 在 或 者 重启 ， 容 器 也 可 以 继续 存在 。Cloud Foundry 希 望 同时 运行 多 种 应 用 ， 包 括 Linux 应 用 、Windows.NET 应 用 和 Docker 


镜像 应 用 ， 这 就 需要 Garden 容 器 可 以 支持 不 同 的 后 端 系统 。Cloud Foundry 研 发 团队 重 构 了 容器 管理 模块 ， 把 对 后 端 系统 的 操作 分 离 出 来 ， 形 成 


设计 。 


图 


3-17 所 示 的 Garden Server 和 Linux Backend 相 互 独立 的 
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图 3-17 Cloud Foundry 容 器 中 的 独立 设计 


有 了 这 样 的 设计 ， 需 要 一 个 Windows 的 容器 时 ， 只 需要 把 Linux Backend 蔡 换 为 Windows Backend 即 可 ， 其 他 组 件 都 可 以 复 用 。 对 于 Docker 镜 像 的 应 用 ， 也 是 类 似 ， 完 全 实现 了 后 端 平台 的 独立 性 。 
对 于 Cloud Foundry 其 他 组 件 而 言 ，Windows 的 应 用 和 Linux 的 应 用 是 完全 一 样 的 ， 不 需要 任何 特殊 的 处 理 。 


347 安全 


Cloud Foundry 对 安全 非常 重视 ， 认 为 安全 是 一 个 平台 的 首要 考虑 因素 ， 所 以 缺 省 的 设置 就 应 该 是 安全 的 。Cloud Foundry 通 过 容器 严格 隔离 每 个 应 用 程序 ， 让 彼此 的 进程 、 内 存 和 文件 系统 独立 。 
Cloud Foundry 管 理 员 可 以 通过 配置 允许 或 者 禁止 一 个 应 用 是 否 可 以 访问 其 他 容器 中 的 应 用 和 Cloud Foundry 系 统 组 件 。 具 体 的 配置 是 通过 应 用 安全 组 实施 的 ， 类 似 于 在 容器 级 别 上 的 一 个 防火 墙 。 下 面 的 
配置 就 是 一 个 这 样 的 防火 墙 规则 : 


[("protocol":"tcp","destination":"10.0.11.0/24", "ports":"1-65535"}, 
{"protocol": "udp", "destination":"10.0.11.0/24", "ports":"1-65535"}] 


在 用 户 和 角色 管理 方面 ，UAA 实 现 了 完备 的 多 租户 用 户 和 资源 管理 ， 用 户 在 每 个 组 织 、 每 个 工作 区 域 可 以 使 用 多 少 资源 、 可 以 访问 哪些 资源 都 有 控制 。 


在 数据 和 传输 加 密 方面 ，Cloud Foundry 在 部 署 时 ， 可 以 启用 模块 之 间 和 应 用 访问 的 SSL， 同 时 使 用 加 密 的 数据 库存 储 Cloud Controller 和 UAA 的 数据 。 在 操作 和 应 用 访问 的 审计 方面 ，BOSH tasks 可 
以 看 到 所 有 对 系统 的 操作 和 日 志 ，cf events 可 以 看 到 所 有 对 应 用 的 访问 信息 ， 帮 助 追踪 和 审计 可 疑 的 访问 和 操作 。 


不 仅 如 此 ，Pivotal 公 司 还 在 继续 增强 Cloud Foundry 的 安全 性 ， 为 此 专门 成 立 了 一 个 安全 研发 团队 。 其 中 有 两 个 重要 的 安全 新 功能 值得 一 提 。 一 个 功能 是 让 Cloud Foundry 支 持 持续 的 、 经 常 性 的 密码 
更 换 ， 另 一 个 功能 是 让 Cloud Foundry 可 以 通过 美国 联邦 安全 认证 。 


3.5 Cloud Foundry 的 应 用 案例 


越 来 越 多 的 客户 采用 Cloud Foundry 作 为 新 一 代 企业 的 应 用 开发 和 发 布 平台 ， 大 量 的 客户 将 Cloud Foundry 部 署 在 生产 环境 ， 服 务 于 各 自 企业 成 干 上 万 个 不 同类 型 、 不 同 负载 的 应 用 。 在 这 一 节 ， 我 们 
通过 三 个 客户 的 案例 来 了 解 它们 是 怎样 选择 企业 的 PaaS 平 台 ， 以 及 体验 Cloud Foundry 带 来 的 好 处 。 


1.Philips 


120 年 来 ， 工 业 巨人 Philips 持 续 收集 反馈 ， 然 后 不 断 优化 企业 的 方方面面 ， 从 研发 到 市 场 ， 聚 焦 制造 和 销售 近乎 完美 的 产品 。Philips 希 望 建立 一 个 IT 中 心 为 企业 的 远景 服务 ， 这 个 中 心 可 以 支撑 起 独特 
的 服务 和 体验 ， 连 接 整个 医疗 保健 行业 生态 链 上 的 人 、 流 程 和 产品 。 


Philips 希 望 创造 一 个 有 更 好 用 户 体验 并 能 提供 个 性 化 服务 的 数字 医疗 平台 ， 复 杂 的 IT 系统 阻碍 了 这 一 愿景 的 实现 。 各 个 医疗 保健 产品 生成 的 丰富 数据 很 难 被 充分 利用 和 加 以 分 析 ; 现 有 的 架构 成 本 越 来 
越 高 ， 难 以 自动 化 ， 经 常 需要 人 工 干预 。 经 过 权衡 ，Philips 选 择 Pivotal Cloud Foundry 来 支撑 核心 的 医疗 数字 平台 。 


Philips 选 择 Cloud Foundry， 是 考虑 到 Cloud Foundry 的 下 列 优势 : 


“ 安全 而 有 弹性 的 计算 和 数据 平台 ， 不 依赖 底层 IaaS 云 平台 。 


“ 方便 添加 新 的 服务 ， 提 升 营 收 机 会 。 


“ 更 少 的 人 工 干预 ， 更 多 自动 化 流程 ， 节 省 了 时 间 和 成 本 。 
Philips 数 字 医 疗 平台 的 高 级 架构 总 监 Francois Andry 这 样 评价 Cloud Foundry: 


“Pivotal Cloud Foundry 为 我 们 的 数据 和 业务 提供 了 一 个 桥梁 和 数字 平台 ， 它 抽象 了 架构 ， 帮 助 我 们 高 效 运作 ， 随 时 扩展 ， 以 全 


2.CoreLogic 


新 的 方式 服务 数 以 亿 计 的 用 户 。” 


CoreLogic 是 一 家 业界 领先 的 为 房产 抵押 贷款 各 方 、 资 本 市 场 投 资 者 和 房地产 交易 专员 提供 资产 信息 和 房地产 交易 信息 、 服 务 与 分 析 的 公司 。CoreLogic 开 发 了 高 技术 


整个 工作 流 。CoreLogic 采 用 了 Pivotal Cloud Foundry 作 为 其 云 平台 。 
CoreLogic 希 望 借助 Cloud Foundry 迎 接 下 述 挑战 : 
“ 经 过 多 年 的 合并 、 收 购 和 业务 增长 ， 企 业 基础 架构 变 的 非常 复杂 ， 需 要 理 顺 。 
:减少 应 用 开发 和 系统 维护 的 时 间 和 代价 。 
+ 利用 新 的 数据 源 来 促进 产品 创新 和 服务 开发 。 
“ 通过 提供 移动 设备 和 更 多 平台 上 的 服务 来 提高 客户 体验 。 


“ 增强 在 市 场 上 的 竞争 力 。 


CoreLogic 选 择 Cloud Foundry 是 考虑 到 Cloud Foundry 具 有 如 下 的 优点 : 
“ 创建 了 快速 应 用 开发 和 数据 管理 的 标准 平台 。 
“ 通过 高 效 软件 部 署 流程 加 速 了 宛 余 应 用 的 整合 。 
“ 采用 简化 的 流程 和 技术 以 更 加 敏捷 的 方式 满足 业务 需求 ， 节 省 了 运 维 人 员 和 开发 人 员 的 时 间 。 
: 利用 多 种 数据 源 为 客户 提供 有 价值 的 分 析 结 果 和 真知 灼 见 。 


“ 开发 移动 设备 和 更 多 平台 上 的 应 用 来 改进 客户 体验 ， 给 用 户 提供 实时 数据 。 


CoreLogic 创 新 开发 中 心 的 高 级 副 总 裁 Richard Leurig 这 样 评价 Cloud Foundry: 


的 应 用 和 平台 来 自动 化 和 理 顺 


“我 们 选择 Pivotal， 是 因为 我 们 相信 Pivotal 提 供 了 完整 的 解决 方案 。 从 PaaS 的 角度 看 ，Pivotal 基 于 Cloud Foundry 的 产品 ， 是 一 个 企业 级 有 商业 支持 的 平台 。 从 数据 科学 和 数据 技术 的 角度 


看 ，Pivotal 的 数据 产品 提供 了 最 好 的 数据 技术 和 在 平台 上 的 支持 。 与 此 同时 ， 我 们 也 利用 Pivotal 的 经 验 和 技能 来 开发 我 们 的 应 用 。 " 


3. 中 信 证 券 


中 信 证 券 是 是 中 国 证 监 会 核准 的 第 一 批 综合 类 证 券 公司 之 一 ，2008 年 被 《亚洲 金融 》 杂 志 评 为 “中 国 最 佳 经 纪行 ”和 “中 国 最 佳人 


债权 融资 行 ”。 中 信 证 券 选 择 基 于 完全 开源 的 Cloud Foundry 构 建 的 商 


业 版 软件 Pivotal Cloud Foundry， 是 因为 其 看 到 了 Cloud Foundry 活 跃 的 开源 社区 资源 ， 以 及 未 来 发 展 前 景 ， 同 时 Pivotal Cloud Foundry 还 额外 提供 了 很 多 构建 企业 级 平台 需要 具备 的 功能 。 第 一 批 上 线 


时 有 16 个 应 用 进行 了 迁移 ， 新 开发 应 用 已 经 直接 基于 平台 搭建 ， 未 来 还 会 把 一 些 传统 应 用 逐渐 打包 迁移 。 


中 信 证 券 信息 技术 中 心 副 总 裁 宋 翔 举 了 一 个 例子 ， 中 信 证 券 有 很 多 同 互联 网 企业 合作 的 金融 产品 ， 在 互联 网 高 并 发 业务 的 情况 下 ， 
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Cloud Foundry 的 研发 过 程 体现 了 Pivotal 公 司 独特 的 敏捷 思想 和 实践 。 研 发 团队 通过 定期 的 回顾 会 议 来 不 断 改 进 产 品 和 流程 ， 以 正确 的 方式 做 正确 的 产品 。 负 责 开 发 模块 的 团 


Pivotal Cloud Foundry 可 以 实现 对 应 用 的 弹性 支撑 。 


队 对 整个 模块 的 全 生命 周 


期 负责 ， 从 开发 到 测试 、 维 护 以 及 以 后 的 演进 发 展 。 产 品 经 理 和 团队 紧密 合作 ， 通 过 和 迭代 收集 客户 反馈 ， 细 化 功能 定义 ， 确 保 产品 模块 以 稳定 的 节奏 发 布 。 在 功能 和 角色 定义 时 ， 避 免 过 度 设 计 又 保持 一 定 


的 灵活 性 。 例 如 ，Diego 的 auctioneer 依 赖 各 个 Cell 节 点 的 rep 投 标 来 决定 将 应 用 调度 到 哪里 ， 而 不 是 只 通过 读 取 bbs 保 存 的 元 数据 来 决定 ，Diego 的 有 


可 扩展 性 ， 未 来 可 能 增加 更 多 调度 器 ， 基 于 BBS 的 auctioneer 只 是 其 中 一 个 ; 另 一 方面 在 实际 测试 中 并 没有 发 现任 何 性 能 问题 ， 结 合 R 
发 团队 会 及 时 投入 改进 。 


发 团队 分 享 了 他 们 对 这 个 设计 的 考量 ， 一 方面 考虑 了 


ep 的 招 投标 都 是 在 内 存 中 计算 ， 响 应 很 快 ， 如 果 发 现 有 性 能 缺陷 ， 研 
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计算 机 软件 的 蓬勃 发 展 为 推动 人 类 社会 进步 、 改 善人 民生 活 做 出 了 卓越 贡献 ， 但 是 计算 机 软件 的 从 业者 依然 谦虚 谨慎 ， 不 断 反思 软件 开发 的 技术 和 方法 缺陷 ， 以 便 开 发 出 更 好 、 更 快 、 更 强 的 软件 ， 市 


场 变化 和 行业 竞争 也 迫使 大 家 需要 不 断 进步 。 


很 多 传统 的 软件 产品 和 项 目 依然 通过 手工 完成 测试 和 部 署 ， 导 致 产品 和 项 目 发 布 周期 很 长 ， 有 的 需要 几 个 月 甚至 一 两 年 ， 而 且 产 品质 量 堪忧 。 产 品 发 布 后 ， 又 因为 开发 和 运 维 
门 和 运 维 部 门 使 用 的 环境 、 工 具 和 方法 完全 不 同 ， 从 发 布 到 上 线 再 到 稳定 运行 还 需要 一 段 时 间 。 以 软件 模块 的 紧 耦 合 为 特征 的 巨石 型 架构 是 制约 产品 发 布 和 扩展 的 一 个 关键 因素 ， 遗 憾 的 是 ， 许 多 产品 仍然 


沿用 这 样 的 架构 。 


指 一 个 专门 为 云 平台 和 框架 而 设计 的 应 用 ， 它 充分 利用 了 云 平台 中 的 各 种 框架 、 服 务 ， 并 且 自 身 由 一 系列 微服 务 构成 。 针 对 云 时 代 的 i 
方法 ， 可 以 帮助 企业 快速 开发 高 质量 的 软件 产品 ， 让 产品 高 效 地 运行 在 私有 和 公有 云 环 境 中 。 


属于 不 同 的 部 门 ， 开 发 部 


面 对 瞬 息 万 变 的 市 场 ， 软 件 发 布 的 周期 和 质量 直接 关系 到 公司 的 业务 。 为 了 突破 上 述 局 限 ， 加 速 软件 高 质量 投放 到 市 场 的 节奏 ， 云 原生 的 理念 得 到 越 来 越 多 架构 师 和 从 业 人 员 的 认可 。 云 原生 的 应 用 是 


和 场 需求 ， 云 原生 描述 了 一 整套 现代 软件 技术 、 实 践 、 哲 学 思想 和 架构 


云 原生 的 软件 开发 有 如 下 几 个 特征 (如 图 4-1 所 示 ) 。 


1. 微 服务 


前 面 介绍 过 的 微服 务 是 破解 巨石 型 架构 难题 的 关键 。 它 通过 一 系列 松 耦 合 的 组 件 ， 将 复杂 的 产品 分 解 为 一 个 个 可 以 独立 部 署 、 运 行 的 微服 务 。 因 为 可 以 独立 部 署 升 级 ， 微 服务 减少 和 弱化 了 功能 模块 之 
间 的 依赖 ， 允 许 每 个 模块 服务 独立 自主 地 升级 演进 ， 甚 至 选择 不 同 的 异 构 的 技术 堆栈 ， 从 而 可 以 最 大 化 地 满足 该 微服 务 模块 的 用 户 需求 。 


2. 开 发 运 维 一 体 化 (DevOps) 


DevOps 消 除了 产品 研发 和 运 维 之 间 的 壁垒 ， 让 产品 开发 组 在 研发 产品 的 时 候 就 考虑 运 维 的 问题 ， 即 使 产品 开发 和 运 维 依然 由 不 同 的 小 组 负责 ， 也 要 求 共享 职责 、 工 具 和 方法 。 这 就 使 得 产品 发 布 和 上 
线 同 步 ， 减 少 了 产品 上 线 的 风险 和 问题 。 另 一 方面 ， 这 也 要 求 产品 的 发 布 方式 要 简单 方便 ， 使 开发 人 员 很 容易 开发 、 测 试 和 部 署 新 产品 和 新 功能 。 


3. 持 续 发 布 


持续 集成 和 发 布 意 味 着 自动 测试 、 尽 早 和 定期 地 发 布 产品 ， 也 意味 着 产品 的 测试 和 部 署 的 自动 化 。 这 实际 上 也 是 敏捷 产品 开发 的 思想 ， 定 期 发 布 可 以 保证 新 功能 稳定 地 进入 产品 ， 同 时 ， 鼓 励 产品 拥抱 
变化 ， 按 照 市 场 和 客户 的 需求 及 时 调整 ， 自 动 测试 和 部 署 可 以 保证 产品 的 质量 。 


4. 容 器 化 


容器 提供 的 轻 量 隔离 环境 ， 极 大 地 方便 了 应 用 和 微服 务 的 部 署 扩展 。 容 器 的 启动 和 销毁 需要 的 时 间 很 短 ， 容 器 也 提供 了 标准 化 的 可 重复 的 应 用 运行 时 环境 。 


云 原生 的 软件 开发 需要 很 好 的 平台 和 工具 来 支持 。 如 果 是 一 个 不 成 熟 的 平台 ， 复 杂 的 操作 或 者 碎片 化 的 配置 等 都 会 让 开发 人 员 感 觉 像 陷入 了 泥潭 ， 不 仅 没有 解决 传统 软件 开发 的 问题 ， 反 而 可 能 带 来 更 
多 新 问题 。 大 量 微服 务 的 部 署 、 开 发 运 维 一 体 化 和 持续 集成 与 发 布 ， 要 求 有 一 个 成 熟 的 PaaS 平 台 ， 为 许多 不 同 产品 和 职能 的 开发 、 测 试 和 运 维 人 员 提 供 一 致 的 简单 的 操作 方法 ， 以 及 完全 自动 的 、 可 重复 的 
测试 和 部 署 接口 。Cloud Foundry 正 是 这 样 一 种 理想 的 PaaS 平 台 。 许 多 客户 反馈 ， 在 使 用 Cloud Foundry 以 后 ， 产 品 的 发 布 周期 从 几 个 月 缩短 到 几 周 ， 一 次 发 布 需要 的 时 间 从 几 周 减少 到 几 分 钟 。 在 这 一 


章 ， 我 们 将 通过 实例 来 阐述 如 何在 Cloud Foundry 中 快速 开发 、 测 试 和 部 署 微 服务 架构 的 云 原生 企业 应 用 。 


接 下 来 的 两 节 会 先 简单 介绍 一 个 持续 集成 、 测 试 和 发 布 的 产品 Concourse， 以 及 帮助 快速 构建 微服 务 的 Java 框 架 Spring Boot。 之 后 会 逐一 阐述 应 用 开发 、 测 试 和 部 署 的 全 过 程 ， 从 环境 准备 开始 ， 到 
后 端的 开发 与 测试 、 后 端的 部 署 、 前 端的 开发 部 署 ， 最 后 再 演示 对 应 用 进行 生命 周期 管理 的 方法 。 在 这 个 过 程 中 ， 我 们 会 分 享 一 些 云 原生 应 用 设计 和 实现 的 最 佳 实践 ， 包 括 测试 驱动 和 人 渤 代 发 布 。 


图 4-1 云 原生 的 特征 
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41 云 原生 


计算 机 软件 的 莲 勃 发 展 为 推动 人 类 社会 进步 、 改 善人 民生 活 做 出 了 卓越 贡献 ， 但 是 计算 机 软件 的 从 业者 依然 谦虚 谨慎 ， 不 断 反 思 软 件 开 发 的 技术 和 方法 缺陷 ， 以 便 开 发 出 更 好 、 更 快 、 更 强 的 软件 ， 市 
场 变化 和 行业 竞争 也 迫使 大 家 需要 不 断 进步 。 


很 多 传统 的 软件 产品 和 项 目 依然 通过 手工 完成 测试 和 部 署 ， 导 致 产品 和 项 目 发 布 周期 很 长 ， 有 的 需要 几 个 月 甚至 一 两 年 ， 而 且 产 品质 量 堪忧。 产品 发 布 后， 又 因为 开发 和 运 维 属于 不 同 的 部 门 ， 开 发 部 
门 和 运 维 部 门 使 用 的 环境 、 工 具 和 方法 完全 不 同 ， 从 发 布 到 上 线 再 到 稳定 运行 还 需要 一 段 时 间 。 以 软件 模块 的 紧 奈 合 为 特征 的 巨石 型 架构 是 制约 产品 发 布 和 扩展 的 一 个 关键 因素 ， 遗 憾 的 是 ,许多 产品 仍然 
沿用 这 样 的 架构 。 


面 对 瞬 息 万 变 的 市 场 ， 软 件 发 布 的 周期 和 质量 直接 关系 到 公司 的 业务 。 为 了 突破 上 述 局 限 ， 加 速 软 件 高 质量 投放 到 市 场 的 节奏 ， 云 原生 的 理念 得 到 越 来 越 多 架构 师 和 从 业 人 员 的 认可 。 云 原生 的 应 用 是 
指 一 个 专门 为 云 平台 和 框架 而 设计 的 应 用 ， 它 充分 利用 了 云 平台 中 的 各 种 框架 、 服 务 ， 并 且 自 身 由 一 系列 微服 务 构成 。 针 对 云 时 代 的 市 场 需求 ， 云 原生 描述 了 一 整套 现代 软件 技术 、 实 践 、 哲 学 思想 和 架构 
方法 ， 可 以 帮助 企业 快速 开发 高 质量 的 软件 产品 ， 让 产品 高 效 地 运行 在 私有 和 公有 云 环 境 中 。 


云 原生 的 软件 开发 有 如 下 几 个 特征 (如 图 4-1 所 示 ) 。 


1. 微 服务 


前 面 介 绍 过 的 微服 务 是 破解 巨石 型 架构 难题 的 关键 。 它 通过 一 系列 松 耦 合 的 组 件 ， 将 复杂 的 产品 分 解 为 一 个 个 可 以 独立 部 署 、 运 行 的 微服 务 。 因 为 可 以 独立 部 署 升 级 ， 微 服务 减少 和 弱化 了 功能 模块 之 
间 的 依赖 ， 人 允许 每 个 模块 服务 独立 自主 地 升级 演进 ， 甚 至 选择 不 同 的 异 构 的 技术 堆栈 ， 从 而 可 以 最 大 化 地 满足 该 微服 务 模块 的 用 户 需求 。 


2. 开 发 运 维 一 体 化 (DevOps) 


DevOps 消 除了 产品 研发 和 运 维 之 间 的 壁垒 ， 让 产品 开发 组 在 研发 产品 的 时 候 就 考虑 运 维 的 问题 ， 即 使 产品 开发 和 运 维 依然 由 不 同 的 小 组 负责 ， 也 要 求 共享 职责 、 工 具 和 方法 。 这 就 使 得 产品 发 布 和 上 
线 同步 ， 减 少 了 产品 上 线 的 风险 和 问题 。 另 一 方面 ， 这 也 要 求 产品 的 发 布 方式 要 简单 方便 ， 使 开发 人 员 很 容易 开发 、 测 试 和 部 署 新 产品 和 新 功能 。 


3. 持 续 发 布 


持续 集成 和 发 布 意味 着 自动 测试 、 尽 早 和 定期 地 发 布 产 品 ， 也 意味 着 产品 的 测试 和 部 署 的 自动 化 。 这 实际 上 也 是 敏捷 产品 开发 的 思想 ， 定 期 发 布 可 以 保证 新 功能 稳定 地 进入 产品 ， 同 时 ， 鼓 励 产品 拥抱 
变化 ， 按 照 市 场 和 客户 的 需求 及 时 调整 ， 自 动 测试 和 部 署 可 以 保证 产品 的 质量 。 


4 容器 化 


容器 提供 的 轻 量 隔离 环境 ， 极 大 地 方便 了 应 用 和 微服 务 的 部 署 扩 展 。 容 器 的 启动 和 销毁 需要 的 时 间 很 得 ， 容 器 也 提供 了 标准 化 的 可 重复 的 应 用 运行 时 环境 。 


云 原生 的 软件 开发 需要 很 好 的 平台 和 工具 来 支持 。 如 果 是 一 个 不 成 熟 的 平台 ， 复 杂 的 操作 或 者 碎片 化 的 配置 等 都 会 让 开发 人 员 感 觉 像 陷入 了 泥潭 ， 不 仅 没有 解决 传统 软件 开发 的 问题 ， 反 而 可 能 带 来 更 
多 新 问题 。 大 量 微服 务 的 部 署 、 开 发 运 维 一 体 化 和 持续 集成 与 发 布 ， 要 求 有 一 个 成 熟 的 Paas 平 台 ， 为 许多 不 同 产品 和 职能 的 开发 、 测 试 和 运 维 人 员 提 供 一 致 的 简单 的 操作 方法 ， 以 及 完全 自动 的 、 可 重复 的 
测试 和 部 署 接口 。Cloud Foundry 正 是 这 样 一 种 理想 的 Paas 平 台 。 许 多 客户 反馈 ， 在 使 用 Cloud Foundry 以 后 ， 产 品 的 发 布 周期 从 几 个 月 缩短 到 几 周 ， 一 次 发 布 需要 的 时 间 从 几 周 减少 到 几 分 钟 。 在 这 一 
章 ， 我 们 将 通过 实例 来 阐述 如 何在 Cloud Foundry 中 快速 开发 、 测 试 和 部 署 微服 务 架构 的 云 原 生 企业 应 用 。 


接 下 来 的 两 节 会 先 简单 介绍 一 个 持续 集成 、 测 试 和 发 布 的 产品 Concourse， 以 及 帮助 快速 构建 微服 务 的 Java 框 架 Spring Boot。 之 后 会 逐一 阐述 应 用 开发 、 测 试 和 部 署 的 全 过 程 ， 从 环境 准备 开始 ， 到 
后 端的 开发 与 测试 、 后 端的 部 署 、 前 端的 开发 部 署 ， 最 后 再 演示 对 应 用 进行 生命 周期 管理 的 方法 。 在 这 个 过 程 中 ， 我 们 会 分 享 一 些 云 原生 应 用 设计 和 实现 的 最 佳 实践 ， 包 括 测试 驱动 和 人 进 代 发 布 。 


图 4-1 云 原生 的 特征 


42 持续 发 布 和 Concourse 


Cloud Foundry 平 台 提 供 了 强大 的 容器 调度 和 运行 组 件 Diego、 简 单 的 应 用 部 署 方法 cf push， 还 需要 搭配 易 用 的 工具 来 实施 自动 测试 、 持 续集 成 和 发 布 。 本 节 我 们 将 介绍 开源 工具 Concourse。 与 某 些 
团队 正在 使 用 的 Jenkins、GoCD 和 Travis 等 产品 相 比 ，Concourse 具 有 简单 、 可 伸缩 、 能 在 容器 中 运行 、 避 免 配置 碎片 化 、 可 在 本 地 运行 、 支 持 流水 线 以 及 可 扩展 的 资源 接口 等 一 系列 优点 。 可 以 阅读 
Concourse 和 其 他 CI/CD 工 具 的 比较 文档 http://Concourse.ci/Concourse-vs.html 来 了 解 详细 信息 。 


在 Concourse 中 ， 可 以 定义 不 同 的 工作 (Job) 来 执行 不 同 的 任务 (Task) ， 工 作 可 以 与 其 他 工作 和 资源 建立 关联 ， 资 源 的 变化 可 以 触发 工作 的 自动 执行 ， 从 而 构建 起 一 个 完全 自动 化 的 测试 、 集 成 和 
部 署 的 流水 线 。 在 4.4 节 的 实例 中 ， 我 们 会 构建 这 样 一 个 流水 线 ， 在 新 代码 提交 到 git 版 本 库 后 ， 会 触发 相应 的 单元 测试 工作 ; 单元 测试 通过 后 ， 会 触发 服务 的 部 署 工作 ; 部 署 成 功 后 ， 再 执行 集成 测试 ， 通 过 
后 再 依次 部 署 到 staging 环 境 和 产品 环境 。 


很 多 产品 的 部 署 都 采用 蓝 绿 部 署 的 方式 ， 就 是 让 新 版 本 和 旧版 本 同时 在 线 上 服务 用 户 ， 以 测试 新 版 本 的 稳定 性 ， 同 时 避免 新 版 本 的 潜在 问题 对 用 户 产生 影响 ， 等 新 版 本 稳定 后 再 全 部 把 流量 切换 到 新 版 
ASE. Cloud Foundry 通 过 cf map-route 支 持 这 样 的 部 署 升级 方法 ， 假 设 应 用 的 域名 为 demo-time.example.com， 当 把 新 版 本 Green 部 署 到 Cloud Foundry 后 ， 通 过 下 面 的 命令 就 可 以 让 旧版 本 的 实例 
Blue 和 新 版 本 的 Green 同 时 响应 用 户 请 求 ， 由 Cloud Foundry 的 router 模 块 自动 提供 负载 均衡 : 


cf map-route Green example.com -n demo-time 


图 4-2 显 示 了 执行 cf map-route 命 令 后 应 用 和 域名 的 关系 : 


CF demo-time.example.com BI 
Router 
Green 


一 旦 新 版 本 稳定 ， 可 以 通过 cf unmap-route 命 令 删除 到 旧版 本 Blue 实 例 的 路 由 ， 从 而 将 用 户 请 求全 部 切换 到 新 版 本 Green ， 实 现 应 用 的 平稳 升级 。 图 4-3 是 具体 的 命令 和 执行 后 的 效果 图 。 


图 4-2 ”执行 cf map-toute 命 令 后 应 用 和 域名 的 关系 


cf unmap-route Blue example.com -n demo-time 


CF 
Router Blue 


这 时 ， 旧 的 实例 也 可 以 完全 通过 cf delete 命 令 删 除 。 详 细 的 蓝 绿 部 署 过 程 请 参见 官方 文档 : https//docs.cloudfoundry.org/devguide/deploy-apps/blue-green.html, 


图 4-3 ”执行 cf unmap-route 命 令 后 的 效果 


4.3 ”微服 务 和 Spring Boot 


云 原生 的 应 用 要 求 将 复杂 紧 奈 合 的 巨石 型 架构 转换 为 简单 松 奈 合 的 微服 务 架 构 。 许 多 语言 和 框架 都 支持 编写 微服 务 架 构 的 应 用 ， 这 里 我 们 将 采用 Java 语 言 和 开源 的 Spring Boot 框 架 。Spring Boot 的 下 
载 量 持续 增加 ，2015 年 12 月 的 单 月 下 载 次 数 达 到 225 万 ， 这 使 得 Spring Boot 成 为 世界 上 流行 的 微服 务 开发 技术 之 一 。 


Sprint Boot 是 知名 Java 框 架 Spring 的 一 部 分 ， 致 力 于 简化 应 用 开发 的 过 程 和 帮助 程序 员 快 速 构建 应 用 程序 ， 用 最 少 的 代码 、 最 少 的 配置 让 一 个 应 用 快速 运行 起 来 。Spring Boot 在 两 个 方面 特别 吸引 开 
发 者 ， 一 方面 它 集成 了 丰富 的 数据 访问 、REST、 安 人 全、 消息、 监控 等 常用 功能 ; 另 一 方面 ， 它 把 开发 人 员 的 负担 降 到 最 低 。 以 数据 访问 为 例 ， 如 果 想 要 连接 一 个 数据 源 并 且 提 供 Restful AP1， 在 Spring 
Boot 中 只 需要 添加 相关 的 依赖 ， 而 不 需要 任何 额外 的 配置 。Spring Boot 也 可 以 内 建 一 个 Web 容 器 ， 使 得 编译 打包 后 的 Jar 文 件 可 以 直接 运行 ， 方 便 本 地 测试 开发 。Spring Boot 支 持 使 用 Maven 或 者 Gradle 
作为 依赖 管理 工具 ， 同 时 提供 一 个 在 线 的 应 用 帮助 生成 初始 的 项 目 工程 http://starter.spring.io， 生 成 下 载 的 初始 项 目 不 需 要 做 任何 修改 就 可 以 直接 运行 。 当 然 ， 开 发 者 还 需要 添加 与 业务 相关 的 逻辑 和 数据 
模型 ， 才 能 让 它 真 正 变 成 一 个 有 意义 的 项 目 。Spring Boot 的 界面 如 图 4-4 所 示 。 


Spring Booit 集 成 的 很 多 特性 都 非常 实用 。 在 下 面 的 示例 中 ， 我 们 会 用 到 Spring Data JPA, Spring Data Rest 和 Spring Cloud Connector, Spring Data JPA 封 装 了 对 底层 数据 库 的 访问 ， 让 代码 和 具 
体 的 数据 库 技术 独立 ， 同 时 提供 了 OR 映射 。Spring Data Rest 将 数据 资源 转换 为 RESTFUL 资 源 ， 支 持 搜索 、 翻 页 、 过 滤 等 高 级 功能 。Spring Cloud Connector 帮 助 应 用 发 现 云 中 的 适 配 资源 和 服务 ， 从 而 
避免 在 应 用 代码 中 硬 编码 资源 和 服务 访问 信息 。 
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Project Metadata Dependencies 


Artifact coordinates Add Spring Boot Starters and dependencies to your application 


Group Search for dependencies 


cities Web, Security, JPA, Actuator, Devtools... 
Artifact Selected Dependencies 


cities-service 


Don't know what to look for? Want more options? Switch to the full version 


图 4-4 Spring Boot hia 


Sprint Boot 也 提供 命令 行 工具 ， 在 Mac 下 安装 时 ， 可 执行 如 下 命令 : 


$ brew tap pivotal/tap 
$ brew install springboot 


若 在 其 他 环境 下 安装 ， 请 参考 官方 文档 : https://docs.spring.io/spring-boot/docs/current/reference/html/getting-started-installing-spring-boot.html。 


44 企业 云 原生 应 用 的 开发 


本 节 将 通过 一 个 实例 介绍 企业 云 原 生 应 用 的 开发 过 程 。 


4.4.1 应 用 案例 描述 


在 接 下 来 的 部 分 ， 会 介绍 一 个 演示 产品 Cities 开 发 、 测 试 、 部 署 的 完整 过 程 ， 这 个 产品 采用 敏捷 迭代 的 开发 方法 ， 完 成 一 个 最 少 可 用 的 功能 集 : 查询 美国 城市 邮政 编码 、 分 页 显示 结果 、 定 位 到 Google 
地 图 。 其 界面 如 图 4-5 所 示 。 


虽然 这 个 案例 的 功能 不 多 ， 但 Cities 应 用 具有 典型 的 Web 应 用 的 结构 。 其 中 ， 包 括 一 个 功能 齐全 的 提供 Restful API 的 数据 访问 的 微服 务 cities-service、 一 个 使 用 Angularjs 的 前 端 cities-ui， 同 时 借助 开 
源 框架 Feign 创 建 了 一 个 后 端 微服 务 访问 的 客户 端 cities-client， 它 封装 了 对 API 的 访问 。 得 益 于 Spring Boot 的 良好 框架 和 免 配置 的 特性 集成 ， 每 个 子 项 目的 代码 实际 上 很 少 。 图 4-6 显 示 了 整个 产品 的 技术 
架构 和 每 层 的 技术 堆栈 。 


该 项 目的 所 有 工程 文件 可 以 在 Github 上 看 到 ， 网 址 为 https://github.com/gaos1/spring-boot-cities。 
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图 4-5 ”案例 界面 


cities-ui 
Angular.js + Spring Boot + Spring Cloud Connectors 


图 4-6 ”案例 产品 的 技术 架构 


442 准备 工作 


项 目的 配置 管理 由 Gradle 完 成 ， 在 Mac 下 安装 Gradle， 请 执行 下 面 的 命令 。 若 在 其 他 环境 下 安装 ， 请 参考 Www.gradle.org/installation。 


brew install gradle 


此 外 ， 用 户 还 需要 一 个 Cloud Foundry 的 环境 或 者 账号 ， 在 该 环境 或 账号 下 可 以 提供 MySQL 数 据 库 服务 。 最 简便 的 方法 是 在 Pivotal 提 供 的 Cloud Foundry 公 有 云 服务 Pivotal Web Service 上 注册 一 个 
试用 账号 ， 网 址 如 下 : https://account.run.pivotal.io/sign-up。 
也 可 以 下 载 使 用 pcfdev， 这 是 一 个 完整 的 可 以 在 本 地 Virutalbox 虚 拟 机 运行 的 Cloud Foundry， 具 体 的 安装 方法 请 参考 https://github.com/pivotal-cf/pcfdev。 接 下 来 的 描述 以 pcfdev 为 例 。 


最 后 ， 需 要 安装 Cloud Foundry 命 令 行 工 具 ， 在 Mac 下 的 安装 命令 如 下 ， 也 可 以 从 https://github.com/cloudfoundry/dli 下 载 相应 平台 下 的 安装 包 : 


brew tap cloudfoundry/tap 
brew install cf-cli 


安装 完成 后 ， 执 行 下 面 的 命令 ， 登 录 到 Cloud Foundry， 此 时 的 用 户 名 和 密码 都 是 admin: 


cf api api.local.pcfdev.io --skip-ssl-validation 
cf login 


44.3 ”创建 后 端 微 服务 


安装 了 Spring Boot CLI 后 ， 可 以 使 用 spring 命 令 来 创建 后 端 微服 务 cities-service 的 初始 项 目 ， 命 令 如 下 : 


spring init g=com.example -a=cities -n=cities -p=jar \ 
--package-name-org.example.cities --build-gradle V 
-d=actuator, cloud-connectors, data-jpa, data-rest, hsql,mysql,web cities-service 


上 述 命令 中 的 参数 含义 请 参见 Spring init 的 帮助 文档 (在 命令 行 中 输入 spring help init 就 可 以 看 到 ) 。-d 表 示 项 目 所 依赖 的 Spring 特 性 ，data-jpa、data-rest 和 cloud-connectors 分 别 表示 Spring 
Data JPA, Spring Data Rest 和 Spring Cloud Connectors。actuator 是 一 个 产品 级 的 特性 ， 用 来 监控 和 管理 应 用 ; hsql 和 mysql 分 别 是 一 个 内 存 数据 库 和 关系 数据 库 ， 在 本 地 测试 时 使 用 内 存 数据 库 ; 部 


署 到 Cloud Foundry 后 ， 就 关联 到 一 个 MySQl 数 据 库 ;web 表示 一 个 全 栈 的 Tomcat 和 Spring MVC 库 。 


进入 创建 的 cities-service 目 录 ， 可 以 看 到 项 目的 目录 结构 ，src 保 存 源 代码 ，build.gradle 描 述 了 项 目的 配置 和 依赖 ， 其 中 的 依赖 如 下 : 


dependencies { 
compile('org.springframework.boot:spring-boot-starter-actuator') 


compile('org.springframework.boot:spring-boot-starter-cloud-connectors') 
compile('org.springframework.boot:spring-boot-starter-data-jpa') 
compile('org.springframework.boot:spring-boot-starter-data-rest') 
compile('org.springframework.boot:spring-boot-starter-web') 
runtime('org.hsqldb:hsqldb') 

runtime('mysql:mysql-connector-java') 
testCompile('org.springframework.boot:spring-boot-starter-test') 


} 


现在 ， 不 需要 修改 任何 一 行 代码 ， 这 个 项 目 就 可 以 编译 执行 了 ， 命 令 如 下 : 


$ ./gradlew assemble 
$ java -jar build/libs/cities-0.0.1-SNAPSHOT.jar 


在 项 目 启动 的 日 志 最 后 ， 会 看 到 Tomcat 已 经 启动 成 功 : 


main] s.b.c.e.t. TomcatEmbeddedServletContainer : Tomcat started on port(s): 8080 (http) 


2016-05-09 16:06:58.565 INFO 49524 --- [ 
: Started CitiesApplication in 15.324 seconds 


2016-05-09 16:06:58.576 INFO 49524 --- [ main] org.example.cities.CitiesA pplication 
(JVM running for 16.31) 


4-7 所 示 的 应 用 健康 状况 信息 界面 。 


因为 集成 了 actuator， 有 一 些 监控 和 管理 的 API 可 以 访问 。 在 浏览 器 输入 http:Wlocalhost:8080/health， 可 以 看 到 图 


现在 的 项 目 中 没有 任何 实质 的 业务 代码 ， 但 是 


€ — CQ [ locathost:8080/health 


{ 
status: "UP", 


- diskSpace: { 
status: "UP", 
total: 510744985600, 
free: 347537330176, 
threshold: 10485760 


: 1 
status: "UP", 
database: "HSQL Database Engine", 


hello: 1 


4-7 应 用 健康 状况 界面 


更 多 由 actuator 提 供 的 管理 和 监控 URL 包 括 /metrics、/env 和 /mappings 等 ， 它 们 对 日 常 开发 和 产品 运 维 都 很 有 帮助 。 


1. 后 端 微服 务 CITIES-SERVICE: 添加 业务 逻辑 


录 下 创建 一 个 com.example.cities.domain 的 包 和 一 个 CityTest 的 单元 测试 类 ， 


我 们 将 采用 测试 驱动 的 开发 方式 。 在 添加 业务 逻辑 代码 前 ， 先 编写 基本 的 测试 ， 创 建 一 个 src/test/java 的 目录 ， 在 这 个 目 
内 容 如 下 : 


package com.example.cities.domain; 


import org.junit.Test; 
import static org.junit.Assert.assertEquals; 


public class CityTest { 


@Test 


public void testPostal() { 
City city = new City("Beijing", "01e", "1eeeee"); 
assertEquals("1000001", city.getPostalCode()); 


这 时 ， 执 行 ./gradlew build 会 因为 编译 不 通过 而 报错 ， 需 要 重 写 数据 模型 类 City。 创 建 一 个 包 com.example.cities.domain， 然 后 在 这 个 包 中 创建 一 个 类 City， 用 来 表示 城市 的 邮编 和 坐标 ， 内 容 如 下 : 


package com.example.cities.domain; 

import javax.persistence.Column; 

import javax.persistence.Entity; 

import javax.persistence.GeneratedValue; 

import javax.persistence.Id; import javax.persistence.Table; 
import java.io.Serializable; 


@Entity 
@Table (name-"city") 
public class City implements Serializable { 
private static final long serialVersionUID = 1L; 


@Id 
@GeneratedValue 
private long id; 


@Column (nullable = false) 
private String name; 


@Column (nullable = false) 
private String county; 


@Column (nullable = false) 
private String stateCode; 


@Column (nullable = false) 
private String postalCode; 


@Column 
private String latitude; 


@Column 
private String longitude; 


public City() { 
} 


public City (String name, String stateCode, String postalCode) { 
this.name = name; 
this.stateCode = stateCode; 
this.postalCode = postalCode; 

} 


public String getName() { return name; } 
public void setName (String name) { this.name = name; } 
public String getPostalCode() { return postalCode; } 


public void setPostalCode (String postalCode) { this.postalCode = postalCode; } 


public long getId() { return id; } 
public void setId(long id) { this.id = id; } 
public String getStateCode() { return stateCode; } 


public void setStateCode (String stateCode) { this.stateCode = stateCode; } 


public String getCounty() { return county; } 
public void setCounty(String county) { this.county = county; } 
public String getLatitude() { return latitude; } 


public void setLatitude (String latitude) { this.latitude = latitude; } 


public String getLongitude() { return longitude; } 


public void setLongitude (String longitude) ( this.longitude = longitude; } 


类 名 上 的 @Entity 和 @Table 是 JPA 的 标记 ， 表 示 这 个 类 的 对 象 会 持久 化 到 数据 库 的 city 表 中 。 不 需要 手动 创建 数据 库 表 ， 只 需要 在 src/main/resources/application.properties 中 添加 如 下 一 行 


令 ，Spring 就 会 自动 创建 : 


A 
ap 


spring. jpa.hibernate.ddl-auto=create 


这 时 再 执行 ./gradlew build， 就 能 看 到 编译 和 测试 通过 。 其 他 单元 测试 也 可 以 上 


类 似 方法 创建 。 


$./gradlew build 
:cities-service:compileJava UP-TO-DATE 
ities-service:processResources UP-TO-DATE 
ities-service:classes UP-TO-DATE 
:cities-service:jar 
:cities-service:bootRepackage 
:cities-service:assemble 
ities-service:compileTestJava UP-TO-DATE 
ities-service:processTestResources UP-TO-DATE 
:cities-service:testClasses UP-TO-DATE 
:cities-service:test UP-TO-DATE 
:cities-service:check UP-TO-DATE 
:cities-service:build 


BUILD SUCCESSFUL 


Total time: 11.074 secs 


接 下 来 再 创建 一 个 com.example.cities.repositories 的 包 ， 在 该 包 中 创建 一 个 City-Respository 的 接 


， 内 容 如 下 : 


package com.example.cities.repositories; 


import com.example.cities.domain.City; 
import org.springframework.data.domain. Page; 
import org.springframework.data.domain.Pageable; 


import org.springframework.data.repository.PagingAndSortingRepository; 


import org.springframework.data.repository.query.Param; 


import org.springframework.data.rest.core.annotation.RepositoryRestResource; 


import org.springframework.data.rest.core.annotation.RestResource; 


@RepositoryRestResource (collectionResourceRel = "cities", path = "cities") 
public interface CityRepository extends PagingAndSortingRepository«City, Long» { 


Page«City» findAll(Pageable pageable); 


GRestResource (exported - false) 
City findById(Long id); 


@RestResource (path = "name", rel = "name") 


Page<City> findByNameIgnoreCase (@Param("q") String name, Pageable pageable); 


@RestResource (path = "nameContains", rel = "nameContains") 


Page<City> findByNameContainsIgnoreCase (@Param("q") String name, Pageable pageable); 


@RestResource (path = "state", rel = "state") 


Page<City> findByStateCodeIgnoreCase (@Param("q") String stateCode, Pageable pageable); 


@RestResource (path = "postalCode", rel = "postalCode") 
Page<City> findByPostalCode (@Param("q" 


) String postalCode, Pageable pageable) ; 


这 个 接口 定义 查询 需要 的 APl， 通 过 标记 ，Spring 会 实现 这 些 接口 ， 将 API 调 用 转化 为 对 应 的 SQL 语 句 ， 并 且 通 过 OR 映射 的 方式 返回 


最 后 ,打开 com.example.cities.Application， 添 加 @EnableJpaRespositories 和 和 @Ilmport (Res-po-sitoryRestMvcConfiguration.class) 。 在 应 


结果 对 象 。 


JPA 和 Rest 特 性 ， 如 下 所 示 : 


@Configuration 


@ComponentScan 

@EnableAutoConfiguration 
@EnableJpaRepositories 

@Import (RepositoryRestMvcConfiguration.class) 
public class Application { 


public static void main(String[] args) { 
SpringApplication.run(Application.class, args); 


现在 重新 打包 运行 ， 启 动 后 ， 在 浏览 器 输入 下 面 的 URL， 将 会 看 到 很 多 针对 参数 化 Repository 的 HEAD、GET、POST 和 PUT 的 REST API. 


http://localhost:8080/mappings 


结果 如 图 4-8 所 示 。 


=> C | localhost:8080/mappings 


/**/favicon.ico: { 

bean: "faviconHandlerMapping" 
) 
/webjars/**: { 

bean: "resourceHandlerMapping" 


{[/ (repository)],methods-[HEAD] ,params-[],headers-[],consumes-[],produces-[],custom-[]): { 
bean: "repositoryExporterHandlerMapping", 
method: "public org.springframework.http.ResponseEntity<?> 
org.springframework.data.rest.webmvc.RepositoryEntityController.headCollectionResource (org.springframework.data.rest.webmvc.RootResourceInformation) 
throws org.springframework.web.HttpRequestMethodNotSupportedException" 

b 

{[/ {repository} ],methods=[GET] , params=[],headers=[] ,consumes=[] ,produces=[],custom=[]}: { 
bean: “repositoryExporterHandlerMapping", 
method: “public org.springframework.hateoas.Resources<?> 
org.springframework.data.rest.webmvc.RepositoryEntityController.getCollectionResource(org.springframework.data.rest .webmvc.RootResourceInformation,org.spri' 
throws org.springframework.data.rest.webnvc.ResourceNotFoundException,org.springframework.web.HttpRequestMethodNotSupportedException' 

) 

([/(repository)],methods-[GET],params-[],headers-[],consumes-[],produces-[application/x-spring-data-compact4json || text/uri-list],custom=[]}: { 
bean: "repositoryExporterBandlerMapping", 
method: "public org.springframework.hateoas.Resources<?> 
org.springframework.data.rest.webmvc.RepositoryEntityController.getCollectionResourceCompact (org. springframework.data.rest.webmvc.RootResourceInformation,o: 
throws org.springframework.data.rest.webmvc.ResourceNotFoundException,org.springframework.web.HttpRequestMethodNotSupportedException* 

) 

([/frepository)],methods-[POST],params-[],headers-[],consumes-[],produces-[],custom-[]): | 

repositoryExporterHandlerMapping 

method: "public org.springframework.http.ResponseEntity<org.springframework.hateoas.ResourceSupport> 
org.springframework.data.rest.webmvc.RepositoryEntityController.postCollectionResource(org.springframework.data.rest.webmvc.RootResourceInformation,org.spri 
>,org.springframework.data.rest.webmvc.PersistentEntityResourceAssembler) throws org.springframework.web.HttpRequestMethodNotSupportedException" 

) 

([/(repository)/[id)],methods-[HEAD],params-[],headers-[],consumes-[],produces-[],custom-[]): | 
bean: "repositoryExporterHandlerMapping", 
method: "public org.springframework.http.ResponseEntity<?> 
org.springframework.data.rest.webmvc.RepositoryEntityController.headItemResource(org.springframevork.data.rest.webmvc.RootResourceInformation,java.io.Seria 
throws org.springframework.web.HttpRequestMethodNotsSupportedException" 

) 

{[/{repository}/{id}] ,methods=(GET] ,params=[] , headers=[],consumes=[],produces=[],custom=[]}: ( 
bean: "repositoryExporterHandlerMapping", 
method: "public org.springframework.http.ResponseEntity<org.springframework.hateoas.Resource<?7>> 
org.springframework.data.rest.webmvc.RepositoryEntityController.getItemResource(org.springframework.data. rest .webmvc.RootResourceInformation, java.io.Seriali 
throws org.springframework.web.HttpRequestMethodNotSupportedException" 


也 可 以 通过 命令 行 访问 这 些 API。 例 如 ， 下 面 的 命令 会 分 页 列 出 数据 库 中 的 城市 信息 : 


$ curl -i "localhost:8080/cities" 
HTTP/1.1 200 OK 

Server: Apache-Coyote/1.1 
X-Application-Context: application 
Content-Type: application/hal+json 
Transfer-Encoding: chunked 

Date: Tue, 27 May 2014 20:33:52 GMT 


{ 


" links" : ( 
"next" :( 
"href" : "http://localhost:8080/cities?page-1&size-20" 
hy 
"self" :{ 
"href" : "http://localhost:8080/cities{?page,size,sort}", 


"templated" : true 

] 
"search" 
"href" 


{ 
"http: //1ocalhost:8080/cities/search" 


} 


] 
" embedded" : {} 
"page" :{ 
"size" : 20, 
"totalElements" : 0, 
"totalPages" : 0, 
"number" : 0 


可 以 看 出 ， 这 个 搜索 的 输出 格式 是 很 标准 的 HAL 格 式 ， 而 我 们 没有 为 这 种 输出 格式 编写 一 行 代 码 ， 就 免费 得 到 了 这 样 整齐 、 规 范 的 API 输 出 。 
2. 后 端 微服 务 CITIES-SERVICE: 导入 数据 


应 用 需要 初始 数据 ， 虽 然 可 以 在 启动 应 用 后 通过 POST API 添 加 数据 ， 但 这 里 我 们 选择 Spring 提供 的 数据 导入 方法 。 打 开 src/main/resourcesapplication.properties， 添 加 下 面 一 行 命令 : 


spring.jpa.properties.hibernate.hbm2ddl.import files-import-small.sql 


然后 在 src/main/resources/ 目 录 下 创建 一 个 名 为 import-small.sql 的 文件 ， 存 入 添加 数据 的 SQL 语句 ， 如 下 所 示 : 


insert into city (postal_code, latitude, longitude, 
insert into city (postal_code, latitude, longitude, 
insert into city (postal_code, latitude, longitude, 
insert into city (postal_code, latitude, longitude, 


name, 
name, 
name, 
name, 


state_code, 
state_code, 
state_code, 
state_code, 


values 
values 
values 
values 


county, 
county 
county, 


) 
) 
) 
county) 


(*00501','440.922326',' 
(*00544','440.922326',' 
('00601','418.165273',' 
('00602','«18.393103',' 


这 样 每 次 启动 应 用 的 时 候 ，Spring 框 架 会 检查 数据 库 的 表 结构 是 否 存在 。 如 果 不 存在 ， 就 


打包 启动 应 用 ， 执 行 下 面 的 命令 来 查看 数据 是 否 已 经 导入 : 


自动 创建 表 结构 并 且 执 行 import-small.sq| 文 件 导入 数据 ; 如 果 已 经 存在 ， 则 自动 忽略 。 


$ curl http://localhost:8080/cities?size=3 
{ 


" links" : { 
"next" : { 


"href" : "http://localhost :8080/cities?page=1&size=3" 


"templated" : true 
hy 


"search" : { 


"href" : "http://localhost:8080/cities/search" 


} 
hy 


"county" 


"stateCode" : "NY", 
"postalCode" : "00501", 
"latitude" : "+40.922326", 
"longitude" : "-072.637078", 
" links" : ( 


"self" : | 
"href" : "http://localhost:8080/cities/1" 
} 
} 
tr { 
"name" : "HOLTSVILLE", 
"county" : "SUFFOLK", 
"stateCode" : "NY", 
"postalCode" : "00544", 
"latitude" : "+40.922326", 
"longitude" : "-072.637078", 
" links" { 


"self" 


{ 
"href" : "http://localhost:8080/cities/2" 


"name" : "ADJUNTAS", 


: "ADJUNTAS", 
"stateCode" : 
"postalCode" 
"latitude" : "418.165273", 
"longitude" : "-066.722583", 
" links" : { 
"self". [ 
"href" : "http://localhost:8080/cities/3" 
} 
} 
}1 
ty 
"page" : { 
"size" : 3 


, 
"totalElements" : 2000, 
"totalPages" : 667, 
"number" : 0 


"http: //1ocalhost:8080/cities?size-3(&page, sort]", 


这 里 ，size 表 示 每 页 显示 返回 多 少 个 数据 行 ， 通 过 输出 可 以 看 到 ， 我 们 有 2000 行 数据 ，REST API 也 工作 正常 。 


3. 后 端 微服 务 CITIES-SERVICE: 部 署 到 Cloud Foundry 


现在 应 用 已 经 完成 ， 并 通过 本 地 测试 ， 功 能 完备 。 在 项 目 目录 下 ， 创 建 一 个 manifest.yml 文 件 ， 如 下 所 示 : 


applications: 
- name: cities 
memory: 512M 
instances: 1 
path: build/libs/cities-service.jar 
timeout: 180 


使 用 cf target 命 令 确 保 已 登录 到 Cloud Foundry: 


$ cf target 

API endpoint: https://api.local.pcfdev.io (API version: 2.54.0) 
User: admin 

Org: pcfdev-org 

Space: pcfdev-space 


输入 cf push 命 令 将 应 用 部 署 到 Cloud Foundry: 


$ cf push -n cities-dev 


这 里 指定 应 用 的 域名 为 cities-dev， 我 们 将 Cities 域 名 保留 给 产品 环境 使 用 


。 在 pcfdev 中 ， 为 了 减少 安装 包 的 大 小 ， 没 有 包含 任何 Buildpack， 在 部 署 应 用 时 会 下 载 。cities 应 


Spring 框架 也 会 自动 下 载 ， 所 以 第 一 次 部 署 应 用 会 稍微 慢 一 些 ， 如 果 想 要 节省 时 间 ， 在 启动 Cloud Foundry 后 可 以 选择 安装 离线 的 Buildpack。 


看 到 类 似 下 面 的 输出 ， 就 表示 部 署 成 功 完成 : 


所 需要 的 Java 运 行 时 、 


state since cpu memory 


disk 
#0 running 2016-05-11 11:27:39 AM 145.0% 347.1M of 512M 155.1M of 512M 


details 


4. 后 端 微服 务 CITIES-SERVICE: 关联 数据 库 服务 


到 目前 为 止 ， 无 论 是 使 用 java 直接 本 地 运行 Jar， 还 是 将 服务 部 署 到 Cloud Foundry，cities-service 使 用 的 数据 库 都 是 内 存 数据 库 HSQLDB， 开 发 测试 非常 方便 。 在 真实 应 


久 化 的 MySQL 数 据 库 。 


环境 下 ， 我 们 希望 使 


可 持 


在 Cloud Foundry 中 使 用 一 个 数据 库 服务 非常 方便 ， 如 果 MySQL 服 务 可 用 ， 只 需要 使 用 create-service 命 令 就 可 以 创建 出 一 个 数据 库 并 且 立 即 可 用 。 


使 用 下 面 的 命令 可 查看 系统 提供 的 服务 名 称 和 类 型 ，pcfdev 已 经 自 带 了 三 种 服务 ， 分 别 是 MySQL、RabbitMQ 和 Redis。 


$cf m 
Getting services from marketplace in org pcfdev-org / space pcfdev-space as adminhttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/0E 
OK 


service plans description 

p-mysql 512mb, 1gb MySQL databases on demand 

p-rabbitmq standard RabbitMQ is a robust and scalable high-performance multi-protocol messaging broker 
p-redis shared-vm Redis service to provide a key-value store 


p-mysq| 就 是 可 用 的 MySQL 服 务 类 型 ， 现 在 为 cities-service 创 建 一 个 数据 库 实例 : 


$ cf create-service p-mysql 512mb cities-db 
Creating service instance cities-db in org pcfdev-org / space pcfdev-space as adminhttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/ 
OK 


为 了 让 Cloud Foundry 中 运行 的 cities-service 发 现 并 使 用 cities-db 数 据 库 ， 只 需要 在 应 用 的 manifest.yml 文 件 中 添加 数据 服务 关联 信息 ，Spring 框 架 和 Cloud Foundry 就 会 协同 工作 ， 让 应 用 使 用 关联 
的 数据 库 : 


services: 
- cities-db 


这 时 候 再 执行 cf restage cities， 完 成 后 运行 下 面 的 命令 确认 : 


$ curl http://cities-dev.local.pcfdev.io/health 
{"status":"UP", "database": "MySQL", "hello":1) 


可 以 看 到 ，cities 确 实在 使 用 MySQL 数 据 库 。 


5. 后 端 微 服务 CITIES-SERVICE: 创建 功能 测试 项 目 


现在 ,产品 已 经 在 Cloud Foundry 云 平台 运行 了 ， 为 了 确保 产品 按照 预期 运行 ， 我 们 还 需要 编写 一 些 端 到 端的 功能 测试 。 依 然 使 用 Spring Boot 来 创建 这 样 一 个 项 目 : 


spring init --build-gradle -p jar -g com.example -a acceptance-tests V 
--package-name com.example.cities acceptance-tests 


进入 项 目 目录 acceptance-tests， 编 辑 build.gradle 来 添加 依赖 ， 我 们 将 使 用 rest-assured 来 测试 REST API: 


testCompile 'junit:junit' 
testCompile 'com.jayway.restassured:rest-assured:2.9.0' 


类 似 的 ， 创 建 test/java 目 录 ,创建 com.example.cities 包 ， 然 后 新 建 测试 类 CityTest， 内 容 如 下 : 


package com.example.cities; 


import com.jayway.restassured.RestAssured; 

import org.junit.BeforeClass; 

import org.junit.Test; 

import static com.jayway.restassured.RestAssured.*; 

import static com.jayway.restassured.matcher.RestAssuredMatchers.*; 
import static org.hamcrest.Matchers.*; 


public class CityTest { 
String SERVICE URI = "http://localhost"; 
int SERVICE PORT = 8080; 


GBeforeClass 
public static void init() ( 
if (System.getenv("CITY SERVICE URI") != null) { 


RestAssured.baseURI = System.getenv("CITY SERVICE URL"); 
l 


if (System.getenv("CITY SERVICE PORT") !- null) ( 
RestAssured.port = Integer.valueOf (System.getenv("CITY SERVICE PORT")); 
} 
} 


@Test 
public void testSearchByPostalcodee() { 
get ("/cities/search/postalCode?q=00501") . 
then(). 
log .all(). 
body ("_embedded.cities[0].name", equalTo ("HOLTSVILLE")); 


通过 环境 变量 设置 测试 服务 为 Cloud Foundry 中 的 cities 服 务 ， 运 行 测试 ， 可 以 看 到 测试 通过 。 


$ export CITY SERVICE URI-http://cities-dev.local.pcfdev.io/ 
$ export CITY SERVICE PORT-80 
$ ./gradlew test 


6. 后 端 微服 务 CITIES-SERVICE: 流水 线 自动 部 署 


至 此 ， 一 个 最 小 可 用 功能 的 cities-service 就 创建 完成 了 ， 可 以 把 代码 存 入 一 个 代码 库 ， 例 如 github 上 。 接 下 来 ， 实 现 整 个 测试 和 部 署 过 程 的 自动 化 。 自 动 化 是 提高 效率 、 保 证 质量 和 减少 差错 的 重要 方 
法 。 为 了 隔离 环境 ， 需 要 在 Cloud Foundry 上 创建 三 个 空间 ， 分 别 是 test、staging 和 prod。prod 是 最 终 的 产品 环境 ，test 用 于 集成 和 功能 测试 ，staging 是 一 个 接近 产品 环境 并 可 以 持续 升级 的 测试 环境 。 


创建 空间 的 命令 如 下 : 


$ cf create-space test 


类 似 的 ， 可 以 创建 staging 和 prod 空 间 ， 使 用 cf spaces 可 以 列 出 所 有 的 空间 。 在 staging 和 prod 中 ， 将 使 用 MySQL 数 据 库 。 分 别 切换 到 staging 和 prod 空 间 ， 各 创建 一 个 MySQL 数 据 库 ， 如 下 所 示 : 


$ cf target -s staging 


API endpoint: https://api.local.pcfdev.io (API version: 2.54.0) 


User: admin 
Org: pcfdev-org 
Space: staging 


$ cf create-service p-mysql 512mb cities-db 
Creating service instance cities-db in org pcfdev-org / space staging as adminhttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/OEBPS 
OK 


$ cf target -s prod 


API endpoint: https://api.local.pcfdev.io (API version: 2.54.0) 
User: admin 

Org: pcfdev-org 

Space: prod 


$cf create-service p-mysql 512mb cities-db 
Creating service instance cities-db in org pcfdev-org / space prod as adminhttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/OEBPS/Te 
OK 


我 们 将 在 Concourse 中 创建 一 个 流水 线 ， 检 测 代码 库 的 修改 ， 启 动 单元 测试 ， 通 过 后 部 署 应 用 到 test 空 间 ， 运 行 功 能 测试 。 我 们 每 周 会 生成 一 个 小 版 本 ， 部 署 或 者 升级 应 用 到 staging 空 间 ， 再 次 运行 功 
能 测试 ， 通 过 后 部 署 或 者 升级 应 用 到 prod 空 间 ， 前 端 使 用 的 就 是 由 这 个 prod 空 间 提供 的 服务 。 


整个 团队 可 以 部 署 一 个 共享 的 Concourse， 开 发 者 也 可 以 借助 Vagrant 在 本 地 运行 一 个 Concourse 实 例 ， 如 下 所 示 : 


vagrant init Concourse/lite 
vagrant up 


启动 后 ， 用 浏览 器 访问 http://192.168.100.4:8080/， 可 以 看 到 Concourse 的 主页 如 图 4-9 所 示 。 


no pipelines configured 


first, download the CLI tools: 


cli: NM 4A 


- i x 


then, use to set up your new pipeline 


4-9 Concourse È Jt 


网 


根据 你 的 平台 ， 点 击 cli 鞍 边 的 小 


标 ， 下 载 Concourse 的 命令 行 工具 fly。 使 用 fly 登 录 到 Concourse， 如 下 所 示 : 


$ fly -t lite login -c http://192.168.100.4:8080 
target saved 


这 样 就 为 URL 192.168.100.4 创 建 了 一 个 别名 lite， 在 接 下 来 的 操作 中 使 用 。 


创建 一 个 ci 目录 和 Concourse 流 水 线 文件 cities-service.yml， 内 容 如 下 : 


resources: 
- name: cities-repo 
type: git 
source: 
uri: https://github.com/gaosl/spring-boot-cities.git 
branch: master 


jobs: 
- name: run-unit-test 
plan: 
- get: cities-repo 
trigger: true 
- task: run-unit 
file: cities-repo/ci/task-unit.yml 


在 这 个 流水 线 中 ， 定 义 了 资源 cities-repo， 表 示 项 目的 代码 库 ， 这 里 使 用 了 github。 流 水 线 分 为 两 步 ，get cities-repo 表 示 获 取 最 新 的 项 目 文件 ，run-unit 表 示 运 行 单元 测试 。trigger 设 置 为 true 可 以 
在 新 的 版 本 提交 到 github 后 自动 触发 这 个 工作 的 执行 。 


执行 单元 测试 的 任务 定义 在 单独 的 文件 task-unit.yml 中 ， 目 的 是 使 任务 可 以 在 其 他 工作 中 复 用 ， 并 且 能 够 通过 fly 命 令 单 独 执行 。 


task-unit.yml 的 内 容 如 下 : 


platform: linux 


image_resource: 
type: docker-image 
source: (repository: java) 


inputs: 
- name: cities-repo 


run: 
path: bash 
args: 


Cd cities-repo/cities-service 
http://www .hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/OEBPS/Text/../gradlew build 


Image_resource 描 述 了 这 个 任务 需要 在 名 为 java 的 docker 容 器 中 执行 ，Concourse 会 自动 从 docker hub 上 下 载 docker 镜 像 ， 并 且 在 自己 的 容器 中 运行 ， 也 可 以 在 这 里 指定 自己 定制 的 docker 镜 像 。 
inputs 表 示 任 务 的 输入 是 流水 线 中 定义 的 cities-repo 代 码 库 。run 描 述 了 需要 执行 的 命令 或 者 脚本 ， 这 里 只 是 执行 gradlew build 来 编译 和 执行 单元 测试 。 


有 了 task-unit.yml 文 件 ， 可 以 运行 下 面 的 命令 从 本 地 提交 运行 验证 : 


fly -t lite execute -c task-unit.yml -i cities-repo-http://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/OEBPS/Text/.. 


-C 指 定 要 执行 的 任务 配置 文件 ，-i 可 以 有 多 个 ， 提 供 cities-repo 资 源 在 本 地 的 目录 名 。fly execute 执 行 成 功 ， 就 可 以 把 整个 流水 线 配置 到 Concourse 服 务 端 执行 ， 命 令 如 下 : 


fly -t lite set-pipeline -c cities-service.yml -p cities-service 


-p 指 定 流水 线 的 名 称 ，-c 指 定 流水 线 的 配置 文件 。 提 交 后 可 以 在 Concourse 主 页 http://192.168.100.4:8080/ 上 查看 流水 线 和 对 应 的 工作 ， 如 图 4-10 和 4-11 所 示 : 


€ C [4 192.168.100.4:8080/pipelines/cities-service 


cities-service 


4-10 ”在 Concourse 主 页 上 查看 流水 线 和 对 应 工作 (—) 


cities-repo 


图 4-11 在 Concourse 上 查看 流水 线 和 对 应 工作 (=) 


这 样 每 次 有 代码 修改 提交 到 github 代 码 库 ， 就 会 自动 触发 执行 run-unit-test。 执 行 成 功 ，run-unit-test 就 显示 为 绿色 ; 如 果 失 败 ，run-unit-test 显 示 为 红色 。 也 可 以 直接 点 击 run-unit-test 访 问 run- 
unit-test 的 所 有 执行 历史 和 日 志 ， 如 图 4-12 所 示 。 


€ c 


oga o mns 


vice/Jobs/run-unit-test/buil 


+ cities-repo ref Ccd4770ceecbcc5ca2cc228bc2c593499d4£98361 al 
using version of resource found in cache author Simon Gao 


author date 2016-05-17 11:10:57 +0800 
commit cd4770ceecbcc5ca2cc228bc2Cc59349944198361 


message nev release 


图 4-12 访问 执行 历史 和 日 志 
图 中 共 执 行 了 三 次 ， 第 三 次 执行 成 功 。 总 共有 两 步 ， 每 步 的 执行 日 志 可 以 展开 或 者 隐藏 ， 执 行 成 功 的 步骤 显示 绿色 对 勾 。 


到 此 为 止 ， 我 们 完成 了 自动 化 单元 测试 。 类 似 的， 我 们 可 以 配置 完成 自动 化 功能 测试 。 对 于 自动 化 功能 测试 ， 我 们 需要 把 cities-service 部 署 到 刚才 在 Cloud Foundry 中 创建 的 test 空 间 。 我 们 需要 在 流 
水 线 配 置 文件 中 添加 一 个 新 的 资源 resource-cf-test， 表 示 Cloud Foundry 的 test 空 间 ， 同 时 创建 一 个 新 的 工作 run-acceptance-tests， 内 容 如 下 : 


- name: resource-cf-test 

type: cf 

source: 
api: https://api.local.pcfdev.io 
username: admin 
password: admin 
organization: pcfdev-org 
space: staging 
skip cert check: true 


http://www .hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/OEBPS/Text/... http://www.hzcourse.com/resource/readBook?path-/openresources/teach 


- name: run-acceptance-tests 
plan: 
- get: cities-repo 
trigger: true 
passed: [run-unit-test] 
- task: run-unit 
file: cities-repo/ci/task-unit.yml 
- put: resource-cf-test 
params: 
manifest: cities-repo/cities-service/manifest.yml 
environment variables: 
current app name: cities-service-test 
path: cities-service-build/cities-service.jar 
- task: run-acceptance-tests 
file: cities-repo/ci/task-acceptance-tests.yml 
config: 
params: 
CITY SERVICE URI: http://cities-service-test.local.pcfdev.io 


Concourse 也 有 很 好 的 可 扩展 性 ， 通 过 系统 提供 和 第 三 方 的 资源 来 连接 各 种 各 样 的 输入 、 输 出 或 者 操作 ， 例 如 部 署 应 用 到 Cloud Foundry， 就 是 通过 一 种 资源 类 型 cf 完成 的 。 在 run-acceptance-tests 
中 ， 有 两 个 新 的 任务 。 一 个 是 put resource-cf-test， 借 助 cf 资源 ， 不 需要 写 任 何 脚本 或 者 命令 ， 通 过 配置 把 run-unit 编 译 后 的 cities-service 微 服务 部 署 到 Cloud Foundry; 另 一 个 是 run-acceptance- 
tests， 针 对 新 部 署 的 cities-service 服 务 http://cities-service-test.local.pcfdev.io， 运 行 功能 测试 。 具 体 执行 功能 测试 的 task-acceptance-tests.yml， 内 容 如 下 : 


platform: linux 


image_resource: 
type: docker-image 
source: (repository: java] 


inputs: 
- name: cities-repo 


run: 
path: bash 
args: 
E 
- export CITY SERVICE URI-((CITY SERVICE URI}} 
- export CITY SERVICE PORT-80 
- cd cities-repo/acceptance-tests 
- http://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/OEBPS/Text/../gradlew test 


如 果 所 有 的 提交 都 能 通过 单元 测试 和 功能 测试 ， 就 可 以 在 每 周 五 生成 一 个 小 版 本 ， 这 里 可 以 用 到 Concourse 提 供 的 另外 两 种 资源 time 和 github-release， 如 下 所 示 : 


- name: release-time 
type: time 
source: 
days: 
- Friday 
start: 8:00 +0800 
stop: 8:30 +0800 


- name: cities-release 
type: github-release 
source: 
user: [github 用 户 名 ] 
repository: spring-boot-cities 
access_token: [github 访 问 token] 


如 代码 所 示 ， 新 创建 的 release-time 会 在 每 周 五 的 上 午 8 点 和 8 点 半 之 间 触 发 一 次 ，cities-release 描 述 了 通过 API 在 github 中 创建 一 个 版 本 的 信息 。 


发 布 新 版 本 的 完整 工作 如 下 : 


- name: publish-release 
plan: 
- get: cities-repo 

passed: [run-acceptance-tests] 
- get: release-time 
trigger: true 
- task: run-unit 
file: cities-repo/ci/task-unit.yml 
- put: cities-release 
params: 
name: cities-repo/cities-service/release/name.txt 
tag: cities-repo/cities-service/release/tag.txt 
globs: 
- cities-service-build/cities-service.jar 


在 很 多 地 方 都 有 类 似 passed:[run-acceptance-tests] 的 设置 ， 表 示 执 行 这 一 步 的 先决 条 件 是 run-acceptance-tests 成 功 运行 ， 这 样 ， 如 果 一 个 提交 导致 功能 测试 失败 ， 那 么 创建 发 布 版 本 的 工作 就 自动 
阻塞 ， 不 会 执行 。 


每 当 新 版 本 发 布 ， 我 们 就 依次 部 署 升级 staging 和 prod， 相 应 的 工作 定义 如 下 : 


- name: deploy-to-staging 
plan: 
- aggregate: 
- get: cities-repo 
passed: [run-unit-test] 
- get: cities-release 
trigger: true 
passed: [publish-release] 
- put: resource-cf-staging 
params: 
manifest: cities-repo/cities-service/manifest.yml 
environment variables: 
current app name: cities-service-staging 
path: cities-release/cities-service.jar 
- task: run-acceptance-tests 
file: cities-repo/ci/task-acceptance-tests.yml 
config: 
params: 
CITY SERVICE URI: http://cities-service-staging.local.pcfdev.io 


- name: deploy-to-prod 
plan: 
- aggregate: 
- get: cities-repo 
passed: [deploy-to-staging] 
- get: cities-release trigger: true 
passed: [deploy-to-staging] 
- put: resource-cf-prod 
params: 
manifest: cities-repo/cities-service/manifest.yml 
environment variables: 
current app name: cities-service 
path: cities-release/cities-service.jar 


再 次 执行 set-pipeline， 就 可 以 在 Concourse 主 页 看 到 整个 流水 线 的 全 局 、 工 作 之 间 的 关联 和 相应 的 输入 /输出 ， 如 图 4-13 所 示 。 


citiee-repo [| TEM citiea-repe 


cities-relesse 


cities-repo 


图 4-13 ”Concourse 主 页 显示 的 流水 线 全 局 


这 样 ， 整 个 自动 化 测试 、 部 署 、 升 级 工作 就 完成 了 ， 通 过 主页 就 可 以 一 目 了 然 地 看 到 现在 的 产品 状态 ， 绿 色 的 工作 表示 最 近 一 次 运行 成 功 ， 红 色 表 示 失 败 。 


自动 化 工作 的 所 有 配置 保存 在 三 个 yaml 文 件 中 ， 可 以 把 这 些 文件 也 保存 到 代码 库 中 ， 跟 踪 它们 的 修改 历史 ， 从 而 方便 在 其 他 环境 下 部 署 使 用 。 


4.4.4 前 端子 项 目的 开发 


前 端子 项 目 cities-client 的 创建 过 程 和 后 端 项 目 cities-service 类 似 ， 也 是 一 个 使 用 Spring boot 和 Spring Cloud Connectors 特 性 的 Java 应 用 。 结 合 Feign 和 Spring Cloud Connectors，cities-client 提 


供 了 一 个 访问 远程 微服 务 并 且 封 装 为 简单 易 用 API 的 功能 。cities-uj 是 一 个 使 用 了 Spring Boot 和 AngulanjS 的 Web 应 用 。 为 节省 篇 幅 ， 这 里 不 再 介绍 项 目的 创建 过 程 和 细节 ， 如 果 读者 感 兴趣 ， 可 以 访问 
github 上 的 源 代码 。 


借助 下 面 的 命令 可 以 创建 一 个 自 定义 的 cities-ws 服 务 关 联 到 prod 空 间 中 的 cities-service 微 服务 ， 绑 定 到 cities-ui 并 且 部 署 cities-ui。 也 可 以 参照 后 端的 做 法 ， 通 过 Concourse 来 实现 前 端 测 试 和 部 署 的 
自动 化 : 


$ cf create-user-provided-service cities-ws -p ' 


{ "citiesuri": "http://cities-service.local.pcfdev.io" }' 
$ cd cities-ui && cf push 


cities-ui 的 部 署 描 述 文件 如 下 ， 可 以 看 到 这 里 使 用 了 上 述 命令 创建 的 cities-ws 微 服务 : 


applications: 
- name: cities-ui 
memory: 512M 
instances: 1 
path: build/libs/cities-ui.jar 
services: [ cities-ws ] 


env: 
SPRING PROFILES ACTIVE: cloud 


45 ”应 用 的 管理 


本 地 测试 运行 正常 以 后 ， 想 要 把 应 用 部 署 到 真正 的 生产 环境 ， 只 需要 使 用 cf api 切 换 到 生产 环境 Cloud Foundry API URL， 重 新 登录 然后 执行 cf push 即 可 。 在 本 地 正常 运行 的 应 用 ， 可 以 在 生产 环境 上 
同样 的 方式 运行 ， 并 且 运 行 正常 。 


应 用 运行 以 后 ， 可 以 通过 http://cities.local.pcfdev.io/trace 来 查看 API 的 访问 信息 (包括 请 求 和 响应 ) ， 也 可 以 借助 Spring Boot Metric Exporter 特 性 把 应 用 的 度量 信息 导出 到 第 三 方 的 监控 工 


[ 


» { 


timestamp: 
- info: ( 
method: 


1463558930997, 


"GET" : 


path: "/cities", 
- headers: { 
- request: ( 


}， 


host: "cities.cfapps.cn", 
user-agent: "Java/1.8.0_71-", 


accept: "text/html, image/gif, image/jpeg, *; q=.2, */*; q=.2", 


x-cf-applicationid: "fb704045-a3cl-4997-bflc-de20a212fda9", 
x-cf-instanceid: "b2cflbf5-bd5e-4205-6e2a-a7800417f833", 
x-cf-requestid: "18afba07-780a-4939-5057-e61bf9e9d323", 
x-vcap-request-id: "a0f54b34-6085-47fc-6d3c-326fc33c985e", 
x-forwarded-port: "80", 

x-forwarded-proto: "http", 

x-request-start: "1463558930459" 


- response: ( 


timestamp: 


X-Application-Context: "cities:cloud:0", 
Content-Type: "application/hal*json", 
Transfer-Encoding: "chunked", 

Date: "Wed, 18 May 2016 08:08:50 GMT", 
status: "200" 


1463558936245, 


- info: { 
method: "GET", 
path: "/cities/search/nameContains", 
- headers: { 
- request: { 
host: "cities.cfapps.cn", 
user-agent: "Java/1.8.0 71-", 
accept: "text/html, image/gif, image/jpeg, *; q=.2, */*; q=.2", 
x-cf-applicationid: "fb704045-a3c1-4997-bflc-de20a212fda9", 
x-cf-instanceid: "b2cflbf5-bd5e-4205-6e2a-a7800417f833", 
x-cf-requestid: "824c7e97-cabl-4a7f-74e5-cc6d0243daeB", 
x-vcap-request-id: "cfbb8951-2311-4b8e-413e-70c9aca3109a", 
x-forwarded-port: "80", 
x-forwarded-proto: "http", 
x-request-start: "1463558936193" 
) 
- response: { 

X-Application-Context: "cities:cloud:0", 
Content-Type: "application/hal*json", 
Transfer-Encoding: "chunked", 
Date: "Wed, 18 May 2016 08:08:56 GMT", 
status: "200" 


}， 
- 4 


随 着 业务 逻辑 的 增加 ， 需 要 更 多 的 内 存 来 支撑 运行 ， 可 以 执行 下 面 的 命令 : 


$ cf scale -m 512M cities 


如 果 对 微服 务 的 请 求 很 多 ， 需 要 更 多 的 实例 来 支持 ， 可 以 执行 下 面 的 命令 将 实例 增加 到 两 个 : 


$ cf scale -i 2 cities 


完成 后 ， 运 行 cf apps 可 以 看 到 cities 的 instances 数 已 经 变 成 2: 


requested state instances memory disk 


started 2/2 512M 1G 
started 1/1 512M 1G 


这 时 候 ， 前 端 对 cities-service.local.pcfdev.io 的 访问 会 由 Cloud Foundry 自 动 负载 均衡 到 两 个 实例 。 如 果 使 用 cf logs cities 查 看 应 用 的 日 志 ， 可 以 看 到 来 自 两 个 实例 的 聚合 后 的 日 志 输出 : 


2016-05-18T16:44:06.99+080@ [HEALTH/1] OUT healthcheck passed 
2016-05-18T16:44:06.99.0800 [HEALTH/1] OUT Exit status 0 


2016-05-18T16:44:08.54.0800 [HEALTH/0] OUT healthcheck passed 
2016-05-18T16:44:08.54.0800 [HEALTH/@] OUT Exit status 0 


如 果 想 要 登录 到 运行 应 用 的 容器 中 查看 系统 和 应 用 的 信息 ， 可 以 使 用 cf ssh 命 令 ， 如 下 所 示 : 


$ cf ssh cities -i 0 -k 
vcap&etluvggOncs:-$ uname -a 
Linux etluvgq0ncs 3.19.0-33-generic #38~14.04.1-Ubuntu SMP Fri Nov 6 18:17:28 UTC 2015 x86 64 x86 64 x86 64 


在 容器 内 运行 uname-a 命 令 ， 可 以 看 到 应 用 运行 的 内 核 是 Ubuntu 14.04, 


想 要 查看 对 应 用 的 操作 记录 ， 可 以 使 用 cf events cities 命 令 ， 列 出 操作 的 时 间 、 事 件 、 操 作者 和 描述 信息 ， 如 下 所 示 : 


time event description 
2016-05-18T16:49:45.0040800 ^ audit.app.ssh-authorized index: 0 
2016-05-18T16:48:11.00+0800 audit.app.ssh-authorized index: 0 
2016-05-18T16:15:28.0040800 ^ audit.app.update instances: 2 
2016-05-18T16:13:51.00+0800 audit.app.update state: STARTED 


2016-05-18T16:13:50.0040800 audit.app.update state: STOPPED 
2016-05-18T16: 13:48 .0040800 audit.app.update memory: 512 

2016-05-18T15:58:36.00-0800 ^ audit.app.update state: STARTED 
2016-05-18T15:58:17.0040800 ^ audit.app.update 

2016-05-18T15:58:17.0040800 ^ audit.app.map-route 

2016-05-18T15:58:16.00+0800 audit.app.create instances: 1, memory: 512, state: STOPPED, 


需要 删除 一 个 应 用 时 ， 可 以 使 用 delete 命 令 ， 它 会 删除 应 用 、 相 应 的 容器 和 绑 定 的 路 由 : 


$ cf delete cities -r 


可 以 看 出 ，Cloud Foundry 通 过 简单 的 命令 ， 就 可 以 快速 方便 地 执行 应 用 的 生命 周期 管理 和 问题 的 分 析 诊断 。 


4.6 更 多 Spring Cloud 服 务 


在 cities-service 中 ， 我 们 已 经 使 用 了 一 些 Spring Cloud Connectors 来 帮助 快速 方便 地 发 现 和 连接 云 中 的 服务 ， 这 只 是 Spring Cloud 项 目的 一 个 特性 。 本 节 将 介绍 和 讨论 Spring Cloud 的 更 多 其 他 特 
性 ， 它 们 对 微服 务 和 分 布 式 应 用 非常 有 用 。 如 果 想 全 面 了 解 Spring Cloud， 请 访问 http://projects.spring.io/spring-cloud/。 


1.Spring Cloud Config 


在 cities-service 中 ， 我 们 把 配置 信息 写 在 application-properties 中 ， 这 种 做 法 在 某 些 场景 下 不 适用 ， 例 如 ， 在 应 用 运行 时 需要 改变 配置 ， 就 意味 着 要 修改 配置 文件 ， 重 新 部 署 重启 应 用 ， 很 不 方便 。 在 
另外 一 些 情形 下 ， 多 个 实例 ， 甚 至 不 同 的 微服 务 之 间 需 要 共享 同步 配置 信息 。Spring Cloud Config 就 提供 了 一 种 友好 的 方式 ， 提 供 了 一 个 集中 的 地 方 来 管理 和 共享 属性 。 它 提供 了 Environment 和 
PropertySource 两 种 抽象 对 象 ， 可 支持 从 开发 、 测 试 到 产品 环境 的 不 同 配置 属性 。Spring Cloud Config 包 括 服务 端 和 客户 端 两 部 分 ， 可 以 借助 Spring Boot 和 @EnableConfigServer 特 性 ， 快 速 创建 一 个 
Spring Cloud Config 的 服务 端 ， 支 持 加 密 和 不 同 外 部 配置 存储 。 在 客户 端 只 需要 通过 spring.cloud.config.uri 属 性 绑 定 到 一 个 Spring Cloud Config 服 务 ， 就 可 以 读 取 配置 属性 。 


2.Spring Cloud Netflix 


第 1 章 提 到 的 Netflix 公 司 为 支持 业务 的 发 展开 发 了 大 量 的 微服 务 应 用 ， 同 时 为 开源 社区 贡献 了 丰富 的 对 微服 务 架构 有 用 的 组 件 ， 包 括 : 


: 服务 发 现 组 件 Enreka: 可 以 创建 一 个 Enteka 服 务 ， 其 他 微服 务实 例 可 以 注册 到 Enreka，Enreka 的 客户 端 可 以 及 时 发 现 这 些微 服务 实例 。 
“ 断路 器 Hystrix: 可 以 创建 一 个 Hystrix 面 板 ， 观 察 和 分 析 API 及 应 用 的 断路 情况 ，Hystrix 的 客户 端 只 需要 通过 在 方法 上 加 标记 的 方式 即 可 使 用 断路 处 理 。 


“ 客户 端 负载 均衡 Ribbon:Cloud Foundry 提 供 了 服务 端的 自动 负载 均衡 ， 如 果 一 些 应 用 对 负载 均衡 有 特殊 的 要 求 ， 可 以 使 用 这 一 服务 。 


JR] 


4-14 显 示 了 一 个 使 用 了 上 述 Netflix 服 务 组 件 的 应 用 架构 。 所 有 模块 都 使 用 了 来 自 Config Server 的 全 局 配置 ， 后 端的 Customers 和 Stores 服 务 都 注册 到 服务 发 现 组 件 Eureka， 前 端的 UI 和 Customers 
使 用 了 客户 端 负载 均衡 Ribbon，Customers 使 用 了 Hystrix 断 路 器 来 处 理 当 Stores 访 问 失败 时 的 响应 方法 ，Hystrix Broaker Monitor 会 监控 服务 的 调用 和 可 用 性 ， 如 果 在 缺 省 的 5 秒 内 调用 失败 了 20 次 ， 断 路 
就 会 被 打开 ， 在 一 段 时 间 内 不 会 有 其 他 调用 发 送 到 Stores， 从 而 预防 和 减少 雪 骨 效应 。 
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图 4-14 使 用 上 述 Netflix 服 务 组 件 的 应 用 架构 


Service 
Discovery 
(Eureka) 


Spring Cloud Netflix 将 Netflix 的 这 些 组 件 以 Spring Boot 的 方式 带 入 到 Spring 应 用 中 ， 开 发 人 员 只 需要 添加 相应 的 依赖 和 注解 ， 就 可 以 使 用 或 者 创建 这 样 的 服务 ， 从 而 快速 构建 高 效 、 可 靠 、 可 伸缩 、 


松 耦 合 的 微服 务 应 用 。 


3.Spring Cloud Data Flow 


Spring Cloud Data Flow 是 一 个 云 原生 的 编排 服务 ， 它 可 以 帮助 开发 人 员 快速 创建 和 组 织 数据 流 服务 ， 包 括 数据 注入 、 实 时 数据 分 析 和 数据 的 导入 导出 。Data Flow 支 持 各 种 数据 服务 作为 数据 输入 或 


者 数据 导出 ， 既 可 以 在 本 地 运行 ， 也 可 以 在 Cloud Foundry 这 样 的 远程 云 环境 中 运行 。 


在 Cloud Foundry 中 部 署 了 Spring Cloud Data Flow 服 务 后 ， 运 行 下 面 的 命令 ， 可 创建 一 个 名 为 mysqlstream、 从 http 服 务 接收 数据 并 存储 到 MySQl 数 据 库 的 数据 流 服务 : 


dataflow:»stream create --name mysqlstream --definition "http | jdbc --includess'mysql:mysql-connector-java:5.1.: 


Created and deployed new stream 'mysqlstreaa' 


之 后 ， 就 会 在 Cloud Foundry 中 创建 出 两 个 实例 mysqlstream-http 和 mysqlsteram-jdbc， 使 用 cf apps 查 看 ， 如 下 所 示 : 


$ cf apps 
Getting apps in org sabby-dataflow / space development as sabby... 
OK 


name requested state instances memory 
mysqlstream-http started 1/1 1G 
mysqlstream-jdbc started 1/1 1G 
s-c-dataflow-server started 1/1 1G 


disk urls 

1G mysqlstream-http.app.navy.spring: 
1G mysqlstream-jdbc.app.navy.spring: 
1G S-c-dataflow-server.app.navy.spri 


用 户 发 送 数 据 到 mysqlstream-http 应 用 对 应 的 服务 ， 会 被 管道 化 转发 到 mysqlstream-jdbc， 由 mysqlstream-jdbc 存 储 到 后 端 关联 的 MySQL 数 据 库 。 如 果 mysqlstream-http 处 理 能 力 不 足 ， 可 以 通过 


下 面 的 命令 扩展 到 多 个 实例 而 不 会 中 断 数据 流 的 处 理 : 


$ cf scale mysqlstream-http -i 3 
Scaling app mysglstream-http in org sabby-dataflow / space development as sabby... 


OK 

$ cf apps 

Getting apps in org sabby-dataflow / space development as sabby... 

OK 

name requested state instances memory disk urls 

mysqlstream-http started 3/3 1G 1G mysqlstream-http.app.navy.springapps.it 
mysqlstream-jdbc started 1/1 1G 1G mysqlstream-jdbc.app.navy.springapps.it 
$-c-dataflow-server started 1/1 1G 1G S-c-dataflow-server.app.navy.springapp: 


Spring Cloud Data Flow 还 提供 一 个 完备 的 应 用 、 数 据 流 、 任 务 的 监控 和 分 析 面板 ， 如 图 4-15 所 示 。 
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About 


Spring Cloud Data Flow is a unified, distributed, and extensible system for data ingestion, real time analytics, batch 
processing, and data export. The project's goal is to simplify the development of big data applications. 


Admin Server Implementation 


Name spring-cloud-dataflow-server-local 
Version 1.0.0.BUILD-SNAPSHOT (7eeeecb) 
Description Local Data Flow Server 


Need Help or Found an Issue? 


Project Page http://cloud.spring.io/spring-cloud-datafiow/ 

Sources https://github.com/spring-cloud/spring-cloud-dataflow 

Documentation http://docs.spring.io/spring-cloud-dataflow/docs/current/reference/html/ 
API Docs http://docs.spring.io/spring-cloud-dataflow/docs/current/api/ 

Support Forum http://stackoverflow.com/questions/tagged/spring-cloud 

Issue Tracker https://github.com/spring-cloud/spring-cloud-dataflow/issues 


4-15 Spring Cloud Data Flow 的 面板 


4.Spring Cloud Task 


Spring Cloud Task 帮 助 开 发 者 快速 开发 一 个 短 生命 周期 或 者 一 次 性 任务 的 微服 务 。 这 样 的 任务 通常 在 执行 后 结束 ， 并 且 不 希望 在 终止 后 被 自动 重启 。 一 个 典型 的 例子 是 应 用 升级 后 的 一 些 数据 迁移 处 
理 ， 只 需要 在 升级 时 或 者 升级 后 执行 一 次 。Spring Cloud Task 提 供 简 便 的 标记 方式 创建 这 样 的 任务 ， 同 时 支持 在 本 地 和 在 Cloud Foundry 这 样 的 云 环境 中 运行 ， 如 下 所 示 : 


@SpringBootApplication 
@EnableTask 
public class ExampleApplication { 


@Bean 
public CommandLineRunner commandLineRunner() { 

return strings -» 

System.out.println("Executed at :" 十 
new SimpleDateFormat ().format (new Date())); 

l 
public static void main(String[] args) ( 

SpringApplication.run (ExampleApplication.class, args); 


47 ”本 章 小 结 


通过 本 章 的 应 用 开发 部 署 案例 可 以 看 到 ， 要 让 一 个 PaaS 云 平台 产品 充分 发 挥 它 的 特性 和 优点 ， 需 要 在 应 有 用、 工具、 平台 和 流程 方法 上 做 出 相应 的 调整 。Cloud Foundry 搭 配 敏捷 开发 和 自动 部 署 后 ， 极 
大 提升 了 企业 应 用 开发 的 效率 ， 从 而 帮助 企业 完成 数字 化 转型 。 Pivotal 公 司 的 一 个 历史 使 命 就 是 改变 构建 软件 的 方法 和 过 程 ，Cloud Foundry 和 Concourse 这 些 产 品 是 由 创建 了 很 多 应 用 的 工程 师 、 架 构 师 
和 产品 经 理 们 经 过 深思 熟 虑 ， 并 结合 大 量 敏 捷 实 践 总 结 而 来 ， 因 而 极 具 实用 性 。 


本 章 采 用 了 Java 语 言 来 构建 示例 应 用 ， 但 Java 只 是 Cloud Foundry 运 行 时 支持 的 一 种 语言 ，Go、PHP、Python、Ruby、NodeJS 等 应 用 都 可 以 在 Cloud Foundry 中 运行 。 借 助 cell 中 的 Windows 
Backend，.NET 的 应 用 也 可 以 运行 在 Cloud Foundry 中 。 如 前 一 章 所 述 ， 得 益 于 Cloud Foundry Buildpack 的 良好 扩展 性 ， 支 持 更 多 语言 和 新 的 语言 并 非 难 事 ， 例 如 现在 社区 也 发 布 了 针对 Swift 的 
Buildpack。 未 来 还 会 支持 更 多 种 类 的 语言 ， 为 开发 者 提供 更 多 方便 。 


第 5 章 ”BOSH 原 理 与 分 析 


Cloud Foundry 是 由 多 个 模块 组 成 的 分 布 式 系统 ， 又 可 以 部 署 运 行 在 几乎 所 有 laaS 平 台 上 ， 这 就 意味 着 它 的 部 署 、 升 级 和 管理 工具 要 具备 很 多 的 特性 。 区 别 于 许多 同类 产品 ，Cloud Foundry EE BE 
发 团队 将 部 署 、 升 级 和 管理 集成 到 一 个 独立 产品 上 ， 该 产品 称 为 BOSH， 是 一 套 对 大 规模 分 布 式 服务 进行 发 布 、 部 署 和 生命 周期 管理 的 工具 。 本 章 将 介绍 BOSH 的 体系 结构 、 拓 扑 、 配 置 和 用 法 ， 以 及 在 打包 
和 部 署 过 程 中 使 用 的 结构 和 约定 。 


5.1 ” BOSH 概述 


虽然 BOSH 最 初 是 为 Cloud Foundry 开 发 的 ， 不 过 ， 该 产品 是 通用 的 ， 可 以 用 于 部 署 和 管理 任何 分 布 式 系统 ， 它 屏蔽 了 所 有 laas 
vSphere, Amazon Web Services 或 OpenStack 等 laaS 产 品 的 基础 上 部 署 分 布 式 服务 。 


的 差异 ， 提 供 了 一 致 的 编排 、 管 理 配置 和 界面 ， 可 以 在 VMware 


] 
E 


在 部 署 这 些 分 布 式 产品 和 服务 之 前 ， 需 要 先 部 署 BOSH 然 后 一 直 运行 它 。 可 见 ，BOSH 不 是 一 个 短 时 运行 后 退出 的 工具 ， 原 因 是 BOSH 需 要 持续 不 断 地 收集 它 所 部 署 的 服务 状态 ， 在 必要 的 时 候 进行 自动 
修复 。 


和 Cloud Foundry 类 似 ，BOSH 也 可 以 部 署 到 不 同 的 laas 平 台 ， 其 部 署 方 法 类 似 ， 只 是 一 些 与 平台 相关 的 设置 不 同 。 为 简洁 起 见 ， 本 章 的 描述 将 以 AWS 为 例 ， 其 他 平台 的 部 署 方法 请 参照 BOSH 官 方 文 
ihttp://bosh.io/docs, 


BOSH 对 各 种 laas 层 虚拟 机 进行 了 抽象 描 述 ， 提 供 了 友好 的 自动 化 界面 ， 对 于 每 个 分 布 式 系统 产品 ， 在 完成 发 布 包 后 ， 就 可 以 借助 BOSH 的 跨 平 台 特性 直接 部 署 到 BOSH 支 持 的 任何 一 个 aa 平台 ， 实 现 
了 类 人 Java 的 一 次 编写 、 随 处 部 署 的 功能 . 


5.1.1 BOSH 的 组件 


BOSH 的 组 件 如 


[R] 


5-1 所 示 。 
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图 5-1 BOSH 各 组 件 及 其 之 间 的 交互 


1 .基础 架构 即 服务 (laaS) 


核心 的 BOSH3 引 擎 是 基于 某 种 “基础 架构 即 服务 ” (laaS) 抽象 出 来 的 ，laaSs 接 口 以 BOSH 插 件 的 形式 实现 。 目 前 ，BOSH 既 支持 VMware vSphere， 又 支持 Amazon Web Services, OpenStackLAR 
最 近 新 加 入 的 vCloud 和 Azure 等 。 


2. 云 提供 商 接口 (CPI) 


1aaS 接 口 插件 通过 由 VMware 或 Amazon 等 laaS 供 应 商 提供 的 云 提供 商 接口 (CPI) 进行 通信 。 作 为 BOSH 用 户 ， 无 需 关 心 laaS 或 CP1， 但 在 学 习 BOSH 工 作 原 理 时 了 解 基本 概念 也 是 会 有 所 帮助 的 。 这 
些 接口 的 现 有 示例 的 位 置 如 下 : 


“对 于 vSphere， 位 于 https://github.com/cloudfoundry-incubator/bosh-vsphere-cpi-release/blob/master/src/vsphere_cpi/lib/cloud/vsphere/cloud.tb 中 。 


+ 对 于 Amazon Web Services, 4%. T https: / / github.com/cloudfoundry-incubator/bosh-aws-cpi-release /blob/master/stc/bosh_aws_cpi/lib/cloud/aws/cloud.tb P o 


上 述 文件 中 包含 了 一 些 Ruby 类 ， 这 些 类 包含 用 来 执行 以 下 操作 的 方法 : 


+ create_stemcell, delete_stemcell 


* create vm. delete vm、 reboot vm 


* configure networks 


+ create disk, delete disk, attach disk. detach disk 


3.BOSH Director 


Director 是 BOSsH 中 的 核心 协调 组 件 ， 它 控制 着 创建 虚拟 机 、 部 署 软件 和 服务 生命 周期 中 的 其 他 事件 。 在 CPI 创 建 好 资源 后 ， 命 令 和 控制 权 会 移交 给 BOSH Director 与 Agent 的 交互 操作 。 


Director! 


建 可 执行 的 任务 : 翻译 用 户 通过 BOSH CLI 发 出 的 指令 ， 必 要 时 协调 虚拟 机 的 期 望 状态 和 实际 状态 。 任 务 创建 之 后 ， 将 会 被 放 到 任务 队列 中 ，worker 进 程 会 从 该 队列 中 按 序 取出 并 执行 任 
务 。CPI 作 为 Director 和 laasS 之 间 交 互 的 APl， 可 以 用 来 创建 管理 Stemcell、 虚 拟 机 和 磁盘 。 


4.BOSH 命 令 行 界面 (CLI) 


BOSH 命 令 行 界面 是 用 户 使 用 终端 会 话 与 BOSH 进 行 交互 的 途径 。BOSH 命 令 采 用 下 面 所 示 的 格式 : 


$ bosh [--verbose] [--config|-c ] [--cache-dir] [--force] [--no-color] [--skip-director-checks] [--quiet] [--non-interactive] 
BOSH CLI 是 使 用 Ruby 语 言 编写 的 ， 它 依赖 BOSH_cli gem 包 。 可 使 用 下 面 的 命令 来 安装 BOSH CLI: 


$ gem install bosh cli --no-ri --no-rdoc 


5. 运 行 状 况 监视 器 (Health Monitor) 


BOSH 运 行 状况 监视 器 负责 接收 BOSH Agent 发 来 的 运行 状况 和 生命 周期 事件 ， 并 且 可 以 通过 通知 插件 发 送 提醒 (如 电子 邮件 ) 。 它 将 读 取 每 个 VM 上 的 Agent 中 记录 的 虚拟 机 的 状态 和 生命 周期 事件 。 


如 果 检 测 到 该 虚拟 机 存在 某 些 
动 重新 创建 该 虚拟 机 。 运 行 状 况 监视 器 对 系统 中 的 事件 具有 感知 能 力 ， 如 果 是 在 更 新 组 件 ， 它 不 会 发 出 提醒 。 


(unresponsive) 状态 , 则 


6.DNS 服 务 器 


常 ， 则 使 用 通知 插件 发 出 警告 或 者 触发 复活 机 制 。 如 果 复 活 机 制 选项 被 置 为 Enabled， 一 旦 Health Monitor 检 测 到 虚拟 机 处 于 缺失 (missing) 或 者 无 应 答 


BOSH 使 用 powerDNs 来 为 部 署 中 的 每 个 虚拟 机 提供 DNS 解决 方案 。 


7 数据 存储 


Director 使 


8.BOSH Agent 


Postgres 数 


居 库 来 存储 每 个 部 署 的 状态 ， 包 括 Stemcell、Release 和 Dep-lo-yment 的 信息 。 


BOSH Agent 负 责 监 听 来 
Director 将 向 Agent 发 送 指令 来 说 明 必须 安装 哪些 包 以 及 这 些 包 的 配置 是 什么 。 


9.BOSH Registry 


当 BOSH Derictor 创 建 或 更 新 虚拟 机 之 后 ， 将 虚拟 机 的 配置 信息 存放 在 Registry 中 ， 以 便 虚 拟 机 在 引导 时 使 用 。 


10.NATS 


BOSH Director 的 指令 ， 每 个 虚拟 机 都 包含 一 个 Agent。 通 过 BOSH Director 与 Agent 之 间 的 交互 来 为 虚拟 机 分 配 作 业 。 例 如 ， 如 果 虚 拟 机 的 作业 是 运行 MySQL， 那 么 BOSH 


BOSH 使 用 NATS 消 息 总 线 来 发 出 命令 和 进行 控制 。 


5.1.2 BOSH 部 署 的 基本 元 素 


1.Stemcell 


Stemcell 是 一 个 襄 入 了 BOSH Agent 的 虚拟 机 模板 ， 用 于 Cloud Foundry 的 Stemcell 是 一 个 标准 的 操作 系统 分 发 包 。Stemcell 是 使 用 BOSH CLI 上 传 的 ， 由 BOSH Director 在 通过 CPI 创 建 虚拟 机 时 使 


2.release 


。 当 此 BOSH Director 通 过 CPI 创 建 虚拟 机 时 ， 它 会 将 用 于 网 络 连接 和 存储 的 配置 以 及 消息 总 线 和 Blobstore 的 位 置 及 凭据 传递 下 去 。 


BOSH 中 的 release 是 将 一 些 称 作 job 的 服务 描述 符 打包 成 的 捆绑 包 ，job 是 由 软件 代码 (Bit) 和 配置 组 成 的 集合 。 任 何 给 定 的 release 均 包含 让 BOSH 管 理应 用 程序 或 分 布 式 服务 所 需 的 全 部 静态 代码 CR 
代码 或 二 进 制 代 码 ) 。release 通 常 不 局 限于 任何 特定 环境 。 因 此 ， 可 以 跨 群集 重用 它 来 处 理 服务 生命 周期 中 的 不 同 阶段 ， 如 开发 、QA、 暂 存 或 生产 。BOSH CLI 既 管理 release 的 创建 工作 ， 也 管理 将 它们 
部 署 到 特定 环境 中 的 工作 。 


3.deployment 


虽然 BOSH 的 Stemcell 和 release 都 是 静态 组 件 ， 但 BOSH deployment manifest 将 它们 绑 定 在 一 起 进行 部 署 。 在 deployment manifest 中 ， 用 户 需要 声明 虚拟 机 池 和 这 些 虚 拟 机 池 位 于 哪些 网 络 中 ， 以 
及 要 激活 release 中 的 哪些 job (服务 组 件 ) 。job 配 置 指定 了 生命 周期 参数 、job 的 实例 数目 以 及 网 络 和 存储 要 求 。 此 外 ， 通 过 deployment manifest， 用 户 还 可 以 指定 用 来 对 release 中 包含 的 配置 模板 进行 
参数 化 的 属性 。 


借助 BOSH CLI， 可 以 指定 deployment manifest 并 执行 部 署 操作 (BOSH deploy) ， 部 署 操 作 会 按照 指令 在 集群 中 创建 或 更 新 资源 。 


4.Blobstore 


BOSH Blobstore 用 于 存储 release 的 内 容 ( 源 代码 形式 的 BOSH job 和 package 以 及 编译 后 的 BOSH package 映 像 ) 。release 由 BOSH CLI 上 传 并 由 BOSH Director 存 入 Blobstore 中 。 部 署 release 
时 ，BOSH 将 协调 package 的 编译 工作 ， 并 将 结果 存储 在 Blobstore 中 。 


BOSH 将 BOSH job 部 署 到 虚拟 机 时 ，BOSH 代 理会 从 Blobstore 中 提取 指定 的 job 及 关联 的 BOSH package, 


BOSH 还 将 该 Blobstore 作 为 大 型 负载 的 中 间 存 储 区 ， 例 如 日 志文 件 (请 参见 BOSH 日 志 ) 。 目 前 在 BOSH 中 支持 三 种 Blobstore: Atmos、S3 和 简单 的 Blobstore 服 务 器 。 在 本 书 中 ， 我 们 将 使 用 53 作为 


Blobstore。 


5.2 ”安装 与 使 用 BOSH 


BOSH 有 两 种 安装 方法 ， 一 种 方法 是 使 用 bosh init 来 部 署 ， 另 一 种 方法 是 使 用 Micro BOSH 来 部 署 。 


Micro BOSH 的 方式 最 近 已 经 不 再 推荐 了 ， 但 是 BOSH 团 队 仍然 支持 。Micro BOSH 是 一 个 虚拟 机 ， 在 同一 映像 中 包含 了 所 有 的 BOSH 组 件 。 如 果 要 体验 BOSH, 或 者 创建 一 个 简单 的 部 署 环境 ， 那 么 可 
以 使 用 Micro BOSH。 如 果 想 要 在 生产 环境 中 使 用 BOSH 来 管理 分 布 式 系统 ， 那 么 可 以 使 用 Micro BOSH 部 署 器 安装 BOSH， 然 后 将 它 作 为 一 种 在 多 个 虚拟 机 上 部 署 最 终 分 布 式 系统 的 方式 。 


理解 这 种 两 步 过 程 的 一 种 很 好 的 方式 就 是 将 BOSH 本 身 也 视 为 一 个 分 布 式 系统 。 由 于 BOSH 的 核心 用 途 是 部 署 和 管理 分 布 式 系统 ， 因 此 我 们 使 用 它 来 部 署 它 自己 是 合情合理 的 。 在 BOSH 团 队 中 ， 将 此 戏 
称 为 “ 盗 梦 空间 ”。 如 果 读者 对 此 种 方式 感 兴趣 的 话 ， 可 以 参考 BOSH 的 官方 文档 http://bosh.io/docs。 


本 书 将 着 重 介绍 使 用 BOSH init 的 方式 来 安装 BOSH。 


bosh init 是 一 个 用 来 创建 和 更 新 BOSH Director VM 及 其 persistent disk 的 工具 ， 用 户 可 以 从 下 面 的 连接 中 获取 BOSH init 的 最 新 版 本 : 


* bosh init for Mac OS X (AMD64) : https://s3.amazonaws.com/bosh-init-artifacts / bosh-init-0.0.75-darwin-amd64 


+ bosh init for Linux (AMD64) : https://s3-amazonaws.com/bosh-init-artifacts /bosh-init-0.0.75-linux-amd64 


5.2.1 使 用 bosh init 安 装 BOSH 


在 进行 安装 之 前 ， 需 要 先 执行 下 面 的 准备 步骤 : 


1) 下 载 二 进 制 文 件 ， 并 将 其 放 在 PATH 中 。 下 面 以 UNIX 为 例 ， 命 令 为 : 


$ chmod +x ~/Downloads/bosh-init-* 
$ sudo mv ~/Downloads/bosh-init-* /usr/local/bin/bosh-init 


2) 检查 BOSH init 的 版 本 并 确认 其 安装 正确 。 


$ bosh-init -v 


3) 根据 你 所 应 用 的 平台 ， 选 择 安装 以 下 的 包 : 


* Ubuntu: 


$ sudo apt-get install -y build-essential zlibc zliblg-dev ruby ruby-dev openssl libxslt-dev libxml2-dev libssl 


* CentOS: 


$ sudo yum install gcc ruby ruby-devel mysql-devel postgresql-devel postgresql-libs sqlite-devel libxslt-devel 


-Mac OS X: 安装 Apple cli 工 具 。 


$ xcode-select --install 


使 用 homebrew 安 装 OpenSSL: 


$ brew install openssl 


4) 检查 Ruby 是 否 安装 ， 要 求 版 本 在 2.0 以 上 : 


$ ruby -v 
ruby 2.2.3p173 (2015-08-18 revision 51636) [x86 64-darwinl4] 


准备 工作 完成 后 ， 还 需要 一 个 完整 的 manifest 文 件 来 描述 怎样 配置 BOSH director。 准 备 好 manifest 文 件 后 ， 执 行 以 下 命令 : 


$ bosh init deploy manifest.yml 


bosh init 会 做 两 件 事情 : 


1) 它 将 使 用 指定 的 Stemcell 


建 一 个 虚拟 机 。 


2) 


由 


新 创建 新 的 永久 磁盘 并 将 数据 迁移 过 去 。 


5.2.2 ”使 用 bosh init 创 建 一 个 基于 AWS 的 BOSH 


在 本 节 中 ， 我 们 将 以 AWS 为 例 ， 详 述 使 用 bosh init 安 装 BOSH 的 步骤 。 


1. 创 建 deployment manifest 


1) 创建 目录 ,命令 如 下 : 


$ mkdir ~/my-bosh 


2) 在 该 目录 下 创建 manifest， 命 名 为 bosh.yml， 如 下 所 示 : 


name: bosh 
releases: 
- name: bosh 
url: https://bosh.io/d/github.com/cloudfoundry/bosh?v=230 
shal: a39d5698c71£66a2306ae97bf4e7 3b4£65b0818d 
- name: bosh-aws-cpi 
url: https://bosh.io/d/github.com/cloudfoundry-incubator/bosh-aws-cpi-release?v-36 
shal: db2a6c6cdd5ff9f77b0f083e10118fa72e1f5e181 


resource pools: 
- name: vms 
network: private 
stemcell: 
url: https://bosh.io/d/stemcells/bosh-aws-xen-hvm-ubuntu-trusty-go agent?v-3012 
shal: 3380555948abe4c437dee97f67d2d8df4eec3fcl 
Cloud properties: 
instance type: m3.xlarge 
ephemeral disk: {size: 25 000, type: gp2} 
availability zone: AVAILABILITY-ZONE 4 <--- Replace with Availability Zone 
disk pools: 
- name: disks 
disk size: 20 000 
cloud properties: (type: gp2} 
networks: 
- name: private 
type: manual 
subnets: 
- range: 10.0.0.0/24 
gateway: 10.0.0.1 
dns: [10.0.0.2] 
cloud properties: (subnet: SUBNET-ID) 4 «--- Replace with Subnet ID 


- name: public 
type: vip 
jobs: 


name: bosh 
instances: 1 


templates: 

- (name: nats, release: bosh] 

- (name: redis, release: bosh} 

- (name: postgres, release: bosh} 

=- (name: Blobstore, release: bosh} 

- (name: director, release: bosh} 

- (name: health monitor, release: bosh] 
- (name: registry, release: bosh} 

- (name: aws cpi, release: bosh-aws-cpi} 


resource pool: vms 
persistent disk pool: disks 


networks: 
- name: private 
static ips: [10.0.0.6] 
default: [dns, gateway] 
- name: public 
static ips: [ELASTIC-IP] # «--- Replace with Elastic IP 


properties: 
nats: 
address: 127.0.0.1 
user: nats 
password: nats-password 


redis: 
listen address: 127.0.0.1 
address: 127.0.0.1 
password: redis-password 


postgres: &db 
listen address: 127.0.0.1 
host: 127.0.0.1 
user: postgres 
password: postgres-password 
database: bosh 
adapter: postgres 


registry: 
address: 10.0.0.6 
host: 10.0.0.6 
db: *db 
http: (user: admin, password: admin, port: 25777) 
username: admin 
password: admin 
port: 25777 


blobstore: 
address: 10.0.0.6 
port: 25250 
provider: dav 
director: (user: director, password: director-password) 
agent: (user: agent, password: agent-password] 


director: 
address: 127.0.0.1 
name: my-bosh 
db: *db 
cpi job: aws cpi 


max_threads: 10 
user management: 
provider: local 
local: 
users: 
- {name: admin, password: admin} 
- {name: hm, password: hm-password} 


hm: 
director_account: {user: hm, password: hm-password} 
resurrector_enabled: true 


aws: &aws 

access key id: ACCESS-KEY-ID 4 <--- Replace with AWS Access Key ID 
Secret access key: SECRET-ACCESS-KEY # «--- Replace with AWS Secret Key 
default key name: bosh 
default security groups: [bosh] 
region: us-east-1 

agent: (mbus: "nats://nats:nats—password@10.0.0.6:4222"} 

ntp: &ntp [0.pool.ntp.org, 1.pool.ntp.org] 


cloud provider: 
template: (name: aws cpi, release: bosh-aws-cpi} 
ssh tunnel: T 
host: ELASTIC-IP # <--- Replace with your Elastic IP address 
port: 22 
user: vcap 
private_key: ./bosh.pem # Path relative to this manifest file 
mbus: "https://mbus:mbus—password@ELASTIC-IP: 6868" # <--- Replace with Elastic IP 
properties: 
aws: *aws 
agent: (mbus: "https://mbus:mbus—password@0.0.0.0:6868"} 
Blobstore: {provider: local, path: /var/vcap/micro_bosh/data/cache} 
ntp: *ntp 


在 本 例 中 ， 需 要 将 ELASTIC-IP、SUBNET-ID、AVAILABILITY-ZONE、ACCESS-KEY-ID 和 SECRET-ACCESS-KEY 等 属性 蔡 换 为 真实 可 用 的 值 。 


2. 在 AWS 账 号 中 做 准备 工作 


通过 创建 AWS 用 户 来 获取 aws_access_key_id 和 aws_access_secret_key， 然 后 写 在 manifest 中 。 


(1) 创建 私有 虚拟 云 (VPC) 


1) 登录 你 的 AWS 账 号 ， 选 择 正 确 的 region， 如 


5-2 所 示 。 


[ 


N. Virginia + Support v 


US East (N. Virginia) 


lication Services US West (Oregon) 


SQS 


Message Queue Service 


SWF EU (Ireland) 


Norkflow Service for Coordinating Application Components 


AppStream i EU (Frankfurt) 


Low Latency Application Streaming 


US West (N. California) 


Asia Pacific (Singapore) 


Elastic Transcoder 


图 5-2 在 AWS 账 号 中 选择 region 


2) 选择 VPC 服务 ， 如 图 5-3 所 示 。 


3) 点 击 Start VPC Wizard 按 钮 ， 如 图 5-4 所 示 。 


4) 选择 VPC with a Single Public Subnet， 为 VPC 提供 信息 ， 如 图 5-5 所 示 。 


5) 点 击 Create 按 钮 创建 VPC。 


6) 点 击 Subnets 按 钮 后 ， 将 Public subnet 定 位 到 VPC 中 ， 用 该 子 网 的 ID 替换 manifest 中 的 public SUBNET ID， 并 把 Availability Zone 蔡 换 为 你 所 选择 的 Availability Zone, 


i CloudFront Deployment & Management 
W" Global Content Delivery Network 


Elastic Beanstalk 
AWS Application Container 


V, OpsWorks 
DevOps Application Management Service 


Database 


RDS 


MySQL, Postgres, Oracle, SQL Server, and Amazon : 
Piet " CloudFormation 


Templated AWS Resource Creation 
= DynamoDB 
Predictable and Scalable NoSQL Data Store i CodeDeploy 
^ Automated Deployments 
ElastiCache 


~ AOTEA Anal ytics 
Redshift 


Managed Petabyte-Scal Warehouse Service @ EMR 
WW Managed Hadoop Framework 


SS Real-time Processing of Streaming Big Data 
if VPC 


tW Isolated Cloud Resources 会 Data Pipeline 
: w» Orchestration for Data-Driven Workflows 
+ Direct Connect 


wa Dedicated Network Connection to AWS 


Route 53 
Scalable DNS and Domain Name Registration 


图 5-3 选择 VPC 服务 


VPC Dashboard Resources © 
4 
Filter by VPC: 


None Launch EC2 Instances 


. . Note: Your Instan unch in the US East (N. Virginia) region. 
Virtual Private Cloud 


You are using the Amazon VPC resources in the US East (N. 
Your VPCs Virginia) region: 


Subnets 1 VPC 1 Internet Gateway 
4 Subnets 1 Route Table 
1 Network ACL 0 Elastic IPs 
Internet Gateways 1 Security Group 0 Running Instances 
0 VPC Peering Connections 0 Customer Gateways 
0 VPN Connections 0 Virtual Private Gateways 


Route Tables 


DHCP Options Sets 


Elastic IPs 


图 5-4 ”点 击 Start VPC Wizard 


TEES ~ Services v Edit ~ 


Step 2: VPC with a Single Public Subnet 


IP CIDR block:* 10.0.0.0/16 (65531 IP addresses available) 


VPC namo: bosh 


Public subnet* 10.0.0.0/24 (251 IP addresses available) 
Availability Zone:* us-east-la | 
Subnet name: Public subnet! 


You can add more subnets after AWS creates the VPC. 


Enable DNS hostnames:* ©) Yes ONo 


Hardware tenancy:* Default 了 |] 


5-5 填 入 VPC 信息 
7) 创建 一 个 弹性 IP， 步 又 如 下 : 


@ 在 VPC Dashboard 中 ， 点 击 Elastic |Ps 中 的 Allocate New Address 选 项 ， 创 建 一 个 Elastic IP， 如 图 5-6 所 示 。 


VPC Dashboard 


Filter by VPC: 


None v |Q Search Elastic IPs... > 4 


Virtual Private Cloud ^ instance ID ~ Network Interface ID 


Your VPCs 
Subnets 
Route Tables 


Internet Gateways 


DHCP Options Sets 


Elastic IPs 


Peering conii ‘Select an address above 


Security 


5-6 ”创建 Elastic IP 


@ 用 此 IP 蔡 换 manifest 中 的 Elastic IP， 如 图 5-7 所 示 。 


VPC Dashboard Ud oe 13-9 Release Address Associate Address 


Filter by VPC: 


None Filter VPC addresses v Q Search Elastic IPs... x 


Address a Instance ID ~ Network Interface ID 


Virtual Private Cloud 
Your VPCs @ Ô 54.175.20.129 } 


Subnets 

Route Tables 
Internet Gateways 
DHCP Options Sets 
Elastic IPs 


Peering Connections 54.175.20.129 


图 5-7 ”用 新 IP 替 换 原 有 Elastic IP 
(2) 创建 Key Pair 


1) 在 AWS 的 控制 台 上 ， 选 择 EC2 服 务 并 进入 EC2 Dashboard， 如 图 5-8 所 示 。 


2) 点 击 Create 按 钮 创建 Key Pair， 如 图 5-9 所 示 。 


3) 给 创建 的 Key Pait 命 名 ， 从 AWS 上 将 此 pem 下 载 到 本 地 ， 其 名 为 <name>.pem。 


4) 将 该 pem 文 件 移入 存放 了 deployment manifest 的 目录 中 : 


$ mv ~/Downloads/bosh.pem ~/my-bosh/bosh.pem 


$ 1s -la ~/my-bosh 


total 16 

drwxr-xr-x 4 pivotal staff 136 Jan 20 10:56 . 

drwxr-xr-xt 79 pivotal staff 2686 Jan 20 10:46 http://www.hzcourse.com/resource/readBook?path=/openresources/teach_ebook/uncompressed/16515/OEBPS/Text/.. 
-rw-r-----G 1 pivotal staff 1692 Jan 20 10:55 bosh.pem T 


-rw-r--r-- 1 pivotal taff 919 Jan 20 10:53 bosh.yml 


ng AWS ~ Services ~ 


Create Key Pair | Import Key Pair Ds 


Q Filter by attri r search by keyword 


[=) INSTANCES 
Instances 


Spot Requests 
Reserved Instances 


(=| IMAGES 
AMIs 
Bundle Tasks 


(=) ELASTIC BLOCK STORE 
Volumes 


Snapshots 

(=) NETWORK & SECURITY 
Security Groups 
Elastic IPs 
Placement Groups 


— if 
| Key Pairs 


Network Interfaces 


图 5-8 EC2 Dashboard 


Create Key Pair 


Key pair name: [bosh 


5-9 ”创建 Key Pair 


(3) 创建 并 配置 安全 组 


1) 在 EC2 Dashboard, Security Groups 选 项 并 点 击 Create Security Group 按钮 并 创建 安全 组 ， 如 图 5-10 所 示 。 


2) 在 界面 中 填写 如 下 信息 ， 如 图 5-11 所 示 。 


3) 给 名 为 BOSH 的 安全 组 配置 入 站 规则 ， 如 图 5-12 所 示 。 


需要 注意 的 是 ， 在 生产 环境 中 ， 千 万 不 要 把 Source IP 设 置 为 0.0.0.0/0， 这 会 导致 任何 人 都 可 以 访问 deployment 中 的 任何 虚拟 机 ， 显 然 是 不 安全 的 。 


TENE 


EC2 Dashboard 


Events 
Tags Q Filter by m c or search by keyword 


Reports 
Limits Name ~ Group ID - Group Name 


INSTANCES sg-2dac7í49 default 
Instances sg-10aa7974 default 
Spot Requests 

Reserved Instances 


IMAGES 
AMIS 


Bundie Tasks Select a security group above 


ELASTIC BLOCK STORE 
Volumes 
Snapshots 


NETWORK & SECURITY 
Security Groups 
Elastic IPs 


图 5-10 ”创建 安全 组 


Create Security Group 


Security group name i dosh 
BOSH de ployed Vis 


vp-429)0921 (10.0.0.0/16) | bosh 
* denotes default VPC 


Port Range | 


This security group has no rules 


图 5-11 填写 相关 信息 


3. 部 署 


按照 上 一 小 节 中 提 到 的 方式 安装 了 bosh init 客 户 端 并 且 编写 好 manifest 文 件 bosh.yml 之 后 ， 进 入 manifest 所 在 的 目录 ， 运 行 以 下 命令 ， 就 可 以 实现 部 署 了 : 


$ bosh-init deploy ./bosh.yml 


部 署 完成 后 ， 将 target 设 置 为 manifest 中 指定 的 弹性 IP。bosh-init 也 会 为 BOSH 创 建 一 个 默认 的 用 户 ， 可 使 用 admin/admin 登 录 ， 这 样 就 可 以 在 上 


Port Range 


Custom TCP 22 SSH access from BOSH-init 

Rule 

Custom TCP 6868 (My IP) BOSH Agent access from BOSH-init 
Rule 


做 更 多 部 署 。 


回 


Custom TCP BOSH Director access from CLI 
Rule 


All TCP ID of this Management and data access 

m security group 

All UDP ID of this Management and data access 
security group 


图 5-12 ”安全 组 的 入 站 规则 


$ bosh target 54.175.20.129 
Target set to 'bosh' 

Your username: admin 

Enter password: ***** 
Logged in as 'admin' 


$ bosh vms 


No deployments 


(1) 部 署 状 态 


bosh init 将 deployment 的 状态 存放 在 <manifest> -statejson 中 ， 而 该 文件 放 在 manifest 所 处 的 目录 中 ， 以 便 日 后 可 以 重用 或 者 删除 deployment 中 的 资源 ， 除 非 用 户 已 经 使 用 bosh init 
delete<manifest> 删 除了 整个 deployment 或 者 手动 地 从 laas 中 删除 了 VM、disk 以 及 Stemcell 等 资源 。 建 议 用 户 采 用 版 本 控制 的 方式 来 保存 deployment 状 态 文 件 和 manifest， 这 将 允许 用 户 使 用 不 同 的 
manifest 创 建 多 个 deployment。 


(2) 恢复 部 署 状 态 


如 果 用 户 出 于 某 种 原因 丢失 了 deployment 状 态 文件 或 者 没有 保存 上 一 次 更 新 后 的 状态 信息 ， 也 不 必 惊 慌 。 下 面 介 绍 一 个 恢复 deployment 的 方法 。 


1) 在 manifest 所 在 的 目录 中 创建 一 个 名 为 <manifest>-state.json 的 文件 ， 内 容 如 下 : 


{ "current vm cid": "<VM_ID>", "current disk id": "diskl", "disks": [{ "id": "diskl", "cid": "<DISK ID 
} 


2) 替换 <VM_ID>， 用 户 可 以 在 所 使 用 的 laaS 中 找到 实际 的 VM 的 ID。 


3) 用 实际 的 persistent disk 的 ID 蔡 换 <DISK_ID>。 


4) 运行 bosh-init deploy<manifest>.yml， 就 可 以 重新 创建 虚拟 机 并 将 数据 迁移 到 磁盘 中 。 


5) 保存 deployment 的 状态 文件 。 


(3) 删除 命令 


删除 命令 将 用 于 删除 deployment 相 关 的 所 有 资源 ， 包 括 VM、disk 以 及 Stemcell。 该 命令 将 尽量 不 返回 error, 比 如 当 某 些 资源 已 经 不 复 存 在 的 情况 下 ， 该 命令 将 忽略 这 一 错误 。 


$ bosh-init delete bosh.yml 
Deployment manifest: '/home/vagrant/bosh.yml' 
Deployment state: '/home/vagrant/bosh-state.json' 


Started validating 
Downloading stemcellhttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/OEBPS/Text/... Finished (00:00:02) 
Validating stemcellhttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/O0EBPS/Text/... Finished (00:00:04) 
Downloading release 'bosh'http://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/OEBPS/Text/... Finished (00:00:01) 
Downloading release 'bosh-warden-cpi'http://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/OEBPS/Text/... Finished (00:00:01) 
Validating releaseshttp: //www.hzcourse.com/resource/readBook?path=/openresources/teach_ebook/uncompressed/16515/OEBPS/Text/... Finished (00:00:03) 
Validating deployment manifesthttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/OEBPS/Text/... Finished (00:00:00) 
Validating cpi releasehttp: //www.hzcourse.com/resource/readBook?path=/openresources/teach_ebook/uncompressed/16515/OEBPS/Text/... Finished (00:00:00) 

Finished validating (00:00:07) 


Started installing CPI 
Compiling package 'golang 1.3/fc3bc1b4431e8913d91362c1183c9852809d35f6' http: //www.hzcourse.com/resource/readBook?path=/openresources/teach_ebook/uncompressed/16515/OEBPS/Te 
Compiling package 'cpi/6f5b7e1d1050764cd14da9cc8e8683a03a502996'http://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/OEBPS/Text/... 
Rendering job templateshttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/OEBPS/Text/... Finished (00:00:00) 
Installing packageshttp: //www.hzcourse.com/resource/readBook?path=/openresources/teach_ebook/uncompressed/16515/OEBPS/Text/... Finished (00:00:01) 
Installing job 'cpi'http://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/OEBPS/Text/... Finished (00:00:00) 

Finished installing CPI (00:00:16) 


Starting registryhttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/OEBPS/Text/... Finished (00:00:00) 


Started deleting deployment 
Waiting for the agent on VM 'eadd5540-2816-41c1-5ca3-672818e4f829'http://www .hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/0EBPS/Text/.. 
Stopping jobs on instance 'unknown/0'http://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/OEBPS/Text/... Finished (00:00:01) 
Unmounting disk '030015fc-4148-4313-5e17-608dc4b7aa76'http://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/O0EBPS/Text/... Finished ( 
Deleting VM '1987aaea-eb8a-4905-54d3-88202ce550a4 'http: / /www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/OEBPS/Text/... Finished (00:C 
Deleting disk '030015fc-4148-4313-5e17-608dc4b7aa76'http://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/O0EBPS/Text/... Finished (0C 


Deleting stemcell '47017a4e-4a81-41cf-4afc-1121346846b4 'http: / /www .hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/OEBPS/Text/... Finishec 
Finished deleting deployment (00:00:04) 


(4) 日 志 


bosh init 不 仅 可 以 提供 标准 输出 (STDOUT) 和 标准 错误 (STDERR) ， 还 可 以 提供 更 多 的 log。 默 认 状 态 下 ，BOSH_INIT_LOG _LEVEL 被 置 为 NONE， 如 果 想 打开 bosh init 的 log， 可 以 将 该 值 设置 为 
DEBUG、INFO、WARN、ERROR 和 NONE (default) 。 一 般 情 况 下 ， 会 将 log 级 别 为 DEBUG 和 INFO 的 bosh init 定 向 到 STDOUT 中 ， 将 WARN 和 ERROR 级 别 的 bosh init 定 向 到 STDERR 中 。 如 果 想 将 log 
信息 存放 到 其 他 文件 中 ， 则 可 以 将 文件 路 径 写 入 BOSH_INIT_ LOG_PATH 中 。 


5.2.3 BOSH 的 用 户 设 置 


对 于 内 部 服务 和 操作 认证 ，Director 提 供 了 一 个 简单 的 管理 体系 。 


(1) 默认 配置 


安装 BOSH 之 后 ，BOSH Director 会 自 带 一 个 默认 的 用 户 ， 可 以 通过 admin/admin 来 登录 。 


$ bosh login admin 
Enter password: ***** 
Logged in as 'admin' 


当 给 Director 添 加 了 其 他 用 户 之 后 ，admin/admin 这 个 用 户 就 会 作废 。 


$ bosh create user some-operator 
Enter new password: ******** 

Verify new password: ******** 

User 'some-operator' has been created 


(2) 删除 用 户 


如 果 要 删除 命令 ， 可 使 用 如 下 命令 : 


$ bosh delete user some-operator 
Are you sure you would like to delete the user 'some-operator'? (type 'yes' to continue): yes 
User 'some-operator' has been deleted 


(3) 预 装 用 户 


BOSH 还 可 以 通过 预定 义 的 方式 来 创建 一 些 用 户 ， 但 是 若 将 来 想 要 添加 或 者 删除 用 户 ， 只 能 通过 重新 部 署 Director 的 方式 来 完成 。 


1) 更 改 BOSH Director 的 manifest， 命 令 如 下 : 


properties: 
director: 
user management: 
provider: local 
local 
users: 
- (name: admin, password: admin-password) 
- (name: hm, password: hm-password) 


2) 使 用 bosh-init 或 者 Micro BOSH 重 新 安装 BOSH。 


(4) bosh Director 与 UAA 的 集成 


BOSH Director 可 以 将 用 户 的 管理 工作 委托 给 UAA 服 务 器 。UAA 服 务 器 可 以 管理 由 它 自己 创建 的 普通 用 户 ， 还 可 以 与 LDAP 服 务 器 和 SAML Provider 集 成 。 不 管 UAA Server 是 如 何 配置 的 ，BOSH CLI 都 
会 申请 一 个 appropriate credentials (适当 地 证 明 ) 并 转发 给 UAA， 从 而 申请 一 个 token。 


(5) 配置 Director 


1) 在 BOSH 的 manifest 中 添加 UAA release， 命 令 如 下 : 


releases: 

- name: bosh 
url: https://bosh.io/d/github.com/cloudfoundry/bosh?v=209 
shal: a96833b6c68abda5aaa5d05ebdd0a5d394e6c15£ 

- name: uaa # <--- 
url: https://bosh.io/d/github.com/cloudfoundry/uaa-release?v=1 
shal: 477289dal7ffel05d0b6bdelbcl0f61blcb50fb4 


2) 将 UAA 和 Director 部 署 到 一 起 : 


jobs: 
- name: bosh 
instances: 1 
templates: 
- (name: nats, release: bosh} 
- {name: redis, release: bosh} 
- {name: postgres, release: bosh} 
=- (name: Blobstore, release: bosh} 
- {name: director, release: bosh} 
- (name: health monitor, release: bosh} 
- (name: uaa, release: uaa] 
resource pool: default 


3) 在 manifest 中 添加 uaa 段 ， 命 令 如 下 : 


properties: 
uaa: 
url: "https://54.236.100.56:8443" 


scim: 
users: 
- admin|admin-password|scim.write, scim. read, bosh.admin 


clients: 
bosh_cli: 

override: true 
authorized-grant-types: password, refresh_token 
# scopes the client may receive T 
Scope: openid,bosh.admin,bosh.read,bosh.*.admin,bosh.*.read authorities: uaa.none 
access-token-validity: 600 # 10 min 
refresh-token-validity: 86400 # re-login required once a day 
secret; "" 

admin: (client secret: admin-password} 

login: (client secret: login-password) 

zones: (internal: {hostnames: []}} 


4) 给 Director 的 postgres 服 务 器 添加 一 个 名 为 uaa 的 数据 库 ， 命 令 如 下 : 


properties: 

postgres: &db 
host: 127.0.0.1 
port: 5432 
user: postgres 
password: postgres-password 
database: bosh 
additional databases: [uaa] # <--- 
adapter: postgres 


5) 将 uaa server 指 向 那个 数据 库 ， 命 令 如 下 : 


properties: 
uaadb: 

address: 127.0.0.1 

port: 5432 

db scheme: postgresql 

databases: 

- {tag: uaa, name: uaa} 
roles: 

- tag: admin 
name: postgres 
password: postgres-password 


6) 更 改 Director 的 配置 ， 告 诉 它 如 何 连 接 到 uaa server 以 及 如 何 验证 token。 鉴 于 uaa 和 Director 放 在 同一 个 服务 器 上 ， 所 以 可 以 用 相同 的 IP。 


properties: 
director: 
user management: 
provider: uaa 
uaa: 
url: "https://54.236.100.56:8443" 


7) 配置 certificates 和 keys。 


关于 生成 certificates 的 方法 ， 可 以 参照 Director certificates configuration 文 档 生 成 pem 格 式 的 uaa 签 名 密 钥 (private) 和 认证 密 钥 (public) 的 方式 。 


$ ssh-keygen -t rsa -b 4096 -f uaa 
$ openssl rsa -in uaa -pubout > uaa.pub 


将 密 钥 写 到 manifest 中 : 
: uaajwt.signing key: 用 于 为 认证 token 签 名 。 


- uaa.jwt.verification_key: 用 于 认证 token.director.user_management.uaa.public_key, 此 密 钥 可 在 无 需 连 接 到 uaa 的 情况 下 认证 token。 


8) 从 所 使 用 的 laaSs 上 打开 Director 虚 拟 机 的 8443 端 口 ， 此 时 就 可 以 通过 CLI 访 问 uaa 服 务 器 了 。 


9) 用 更 新 后 的 manifest 重 新 部 署 BOSH Director， 以 用 户 的 身份 登录 Director， 命 令 如 下 : 


$ bosh login 
Email: admin 
Password: ***XXexddocek 


(6) 添加 /删除 用 户 


如 果 使 用 uaa cli 来 为 Director 添 加 一 个 具有 只 读 权限 的 用 户 ， 密 码 为 manifest 中 uaa.admin.client_secret 的 内 容 ， 命 令 如 下 : 


$ uaac target https://54.236.100.56:8443 --ca-cert certs/rootCA.pem 
$ uaac token client get admin 

Client secret; ** eee 

$ uaac user add some-new-user --emails new.user@example.com 


也 可 以 通过 创建 群 组 来 管理 用 户 的 权限 ， 把 所 创建 的 用 户 放 在 适当 的 群 组 中 。 


$ uaac group add bosh.read 
$ uaac member add bosh.read some-new-user 


想 要 收回 某 用 户 的 某 种 权限 ， 可 以 通过 从 该 群 组 中 删除 该 权限 的 方式 来 实现 : 


$ uaac member delete bosh.read some-new-user 


删除 一 个 用 户 等 同 于 收回 其 所 有 的 权限 : 


$ uaac user delete some-new-user 


对 于 非 交互 式 的 登录 ， 在 CI build 的 期 间 通 过 脚本 来 实现 : 


$ export BOSH_CLIENT=ci 
$ export BOSH CLIENT SECRET-ci-password 
$ bosh status 


(7) 权限 设置 


所 有 的 UAA 用 户 都 可 以 登录 到 任意 一 个 可 以 识别 access token 的 Director 上 ， 但 是 为 了 安全 考虑 ， 不 同 的 用 户 应 该 被 赋予 不 同 的 权限 : 


* bosh.admin: 在 所 有 的 Director 上 都 具有 admin 权 限 。 
* bosh.read: 在 所 有 的 Director 上 都 具有 读 权 限 。 
“ bosh.<DIRECTOR-UUID>.admin: 在 指定 的 Director 上 都 具有 admin 权 限 ， 通 过 uuid 来 识别 。 


- bosh.<DIRECTOR-UUID>.read: 在 指定 的 Director 上 都 具有 读 权 限 ， 通 过 uuid 来 识别 。 


拥有 admin 权 限 的 用 户 可 以 在 任何 deployments 上 执行 任何 命令 。 


拥有 读 权限 的 用 户 可 以 通过 CLI 执 行 以 下 命令 : 


* bosh deployments: 列 出 所 有 的 deployment， 以 及 它们 所 使 用 的 release 和 stemcell。 


* bosh releases: 列 出 所 有 的 release 及 其 版 本 号 。 


* bosh stemcells: 列 出 所 有 的 stemcell 及 其 版 本 号 。 


* bosh vms: 查 看 所 有 运行 了 job 的 虚拟 机 信息 ， 包 括 它们 所 运行 的 job 名 、IP 等 详细 信息 。 


* bosh tasks: 列 出 所 有 task 的 摘要 。 


没有 被 赋予 权限 的 用 户 只 能 执行 BOSH status 命 令 ， 用 于 查看 BOSH Director 的 地 址 以 及 uuid 等 少量 信息 。 


当 用 户 看 到 以 下 的 错误 信息 时 ， 说 明 用 户 运行 了 自己 不 具备 权限 的 命令 。 


HTTP 401: Not authorized: '/deployments' requires one of the scopes: bosh.admin, bosh.UUID.admin, bosh.read,bo 


(8) SSL 证 书 的 配置 


根据 配置 ， 有 三 个 endpoint 需 要 使 用 SSL 证 书 : Director、UAA 以 及 UAA 上 的 SAML 服 务 provider。 


注意 ， 如 果 为 管理 用 户 而 使 用 UAA， 那 么 必须 为 Director 和 UAA 使 用 SSL 证 书 。 


使 用 下 面 的 脚本 生成 根 CA 认 证 ， 并 用 它 为 三 个 SSL 证 书 进行 签名 。 


#!/bin/bash 

set -e 

certs-'dirname $0'/certs 

rm -rf $certs && mkdir -p $certs 

cd $certs 

echo "Generating CAhttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/OEBPS/Text/..." 
openssl genrsa -out rootCA.key 2048 E 

yes "" | openssl req -x509 -new -nodes -key rootCA.key \ 

-out rootCA.pem -days 99999 


function generateCert ( 
name-$1 
ip-$2 


cat »openssl-exts.conf ««-EOL 

extensions - san 

[san] 

subjectAltName = IP:${ip} 

EOL 

echo "Generating private keyhttp://www.hzcourse.com/resource/readBook?path=/openresources/teach_ebook/uncompressed/16515/OEBPS/Text/..." 
openssl genrsa -out ${name}.key 2048 


echo "Generating certificate signing request for ${ip}http://www.hzcourse.com/resource/readBook?path=/openresources/teach_ebook/uncompressed/16515/OEBPS/Text/..." 
# golang requires to have SAN for the IPsl req -new -nodes -key ${name}.key \ 

-out ${name}.csr \ 

-subj "/C-US/O-BOSH/CN-$ (ip)" 


echo "Generating certificate ${ip}http://www.hzcourse.com/resource/readBook?path=/openresources/teach_ebook/uncompressed/16515/OEBPS/Text/..." 
openssl x509 -req -in ${name}.csr \ B 

-CA rootCA.pem -CAkey rootCA.key -CAcreateserial \ 

-out ${name}.crt -days 99999 \ 

-extfile ./openssl-exts.conf 


echo "Deleting certificate signing request and confighttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/OEBPS/Text/..." 
rm $[name).csr 
rm ./openssl-exts.conf 


} 
generateCert director 10.244.4.2 # <--- Replace with public Director IP generateCert uaa-web 10.244.4.2 # <--- Replace with public Director IP generateCert uaa-sp 10.244.4.2 # 


echo "Finishedhttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/OEBPS/Text/..." 
ls -la . 


(9) 配置 BOSH Director 使 用 证 书 


更 新 manifest 的 属性 如 下 : 


* director.ssl.key: Director 的 私 钥 (certs/director.key) 
* director.ssl.cert: Director 关 联 的 证 书 (certs/director.crt) 


* hm.director account.ca cert: HM 用 以 验证 Director 证 书 的 CA 证 书 (certs/rootCA.key) 


如 果 使 用 UAA 进 行 用 户 管理 ， 还 需要 以 下 属性 : 


+ uaa.sslPrivateKey: UAA 的 私 钥 (certs/uaa - web.key) 

* uaa.sslCertificate: UAA 关 联 的 证 书 (certs/uaa - web.crt) 

- login.saml.serviceProviderKey: 针对 uaa saml 的 私 钥 (certs/uaa - sp.key) 

* login.saml.serviceProviderCertificate: 关联 uaa saml 服 务 的 证 书 (certs/uaa - sp.crt) 
(10) 定向 到 BOSH Director 


如 果 想 要 连接 到 BOSH Director 上 ， 还 需要 提供 --ca-cert， 命 令 如 下 : 


$ bosh target 10.244.4.2 --ca-cert certs/rootCA.pem 


5.2.4 ”使 用 BOSH 


有 了 完全 配置 好 的 环境 后 ， 我 们 便 可 以 开始 将 Cloud Foundry release 部 署 到 环境 中 。 正 如 前 提 条 件 中 所 列 的 那样 ， 此 时 应 该 已 经 有 了 一 个 正在 运行 的 环境 ， 以 及 BOSH Director 的 IP 地 址 。 如 果 这 些 前 
提 条 件 尚未 准备 好 ， 请 参照 前 面 BOSH 安 装 的 内 容 进行 相关 准备 。 


1) 为 BOSH Director 设 定 目标 (例如 设 定 为 下 面 的 IP) : 


bosh target 11.23.128.219:25555 


2) 检查 BOSH 设 置 的 状态 。 


bosh status 


状态 结果 将 类 似 于 : 


Target dev48 (http://11.23.128.219:25555) Ver: 0.3.12 (01169817) 
UUID 4a8a029c-f0ae-49a2-b016-c8f47aalac85 

User admin 

Deployment not set 


5.2.5 ”BOSH 命 令 详解 


一 旦 安装 了 BOSH， 那 么 用 户 在 命令 行 中 键入 BOSH 后 将 会 看 到 一 些 额外 的 命令 。 


BOSH 命 令 行 界面 用 于 与 BOSH Director 进 行 交 互 ， 以 便 在 云 上 执行 操作 。 如 需 最 近 发 布 的 关于 其 功能 的 文档 ,键入 BOSH 即 可 获取 。 


Usage: 

bosh [--verbose] [--config|-c <FILE>] [--cache-dir <DIR] 
[--force] [--no-color] [--skip-director-checks] [--quiet] 
[--non-interactive] 

command [<args>] 


目前 可 供 使 用 的 BOSH 命 令 及 功能 如 下 : 


(1) deployment 管 理 

* bosh deployment[<name>]: 选择 要 使 用 的 deployment ( 它 还 会 更 新 当前 目标 ) 。 

* bosh delete deployment<name><--force>: 删除 deployment。 添 加 --force 选 项 ， 可 在 删除 deployment 的 组 成 部 分 时 忽略 所 有 错误 。 
* bosh deployments: 显示 可 用 deployment 的 列表 。 


* bosh deploy<—recreate>: 按照 当前 选择 的 deployment manifest 进 行 部 署 ， 添 加 --recteate 选 项 表示 在 部 署 过 程 中 重新 创建 所 有 虚拟 机 。 


* bosh diff[<template_file>]: 将 当前 的 BOSH deployment 配 置 与 指定 的 BOSH deployment 配 置 模板 区 分 开 来 ， 以 便 deployment 配 置 文件 保持 最 新 状态 。 可 以 在 deployment 仓 库 (repository) 中 找到 开发 模 
板 。 


(2) release 管 理 

* bosh create release: 创建 release (假定 当前 目录 为 telease 资 源 库 ) o 

“ -force ” 绕 过 git 脏 状态 检查 。 

+ final 创建 可 投入 生产 环境 中 使 用 的 release (将 项 目 存储 在 Blobstore 中 ， 增 加 最 终 版 本 ) o 

- --with-tarball 创建 完整 的 release tar&, 〈 默 认 情况 下 仅 创建 清单 ) 。 

“ -dry-run 先 停止 ， 再 写 入 telease 清 单 〈 用 于 诊断 ) 。 

* bosh delete release<name>[<version>]: 删除 telease (或 release 的 特定 版 本 ) ， 添 加 --force 表 示 在 删除 期 间 忽略 错误 。 
* bosh verify release<path>: 验证 release。 


* bosh upload release[<path>]: 上 传 release (<path> 可 以 指向 tar 包 或 清单 ， 默 认为 指向 最 新 创建 的 release) o 


* bosh releases: 显示 可 用 telease 的 列表 。 

* bosh reset release: 重 置 release 部 署 环 境 (删除 所 有 开发 项 目 ) 。 
* bosh init release[<path>]: 初始 化 release 目 录 。 

* bosh generate package<name>: 生成 package 模 板 。 

* bosh generate job<name>: 生成 job 模 板 。 

(3) Stemcell 管 理 

* bosh upload stemcell<path>: 上 传 stemcell。 

* bosh verify stemcell<path>: 验证 stemcell。 

* bosh stemcells: 显示 可 用 stemcell 的 列表 。 


* bosh delete stemcell<name><version>: 删除 stemcell。 


* bosh public stemcells: 显示 供 下 载 的 公开 stemcell 的 列表 。 


* bosh download public stemcell<stemcell_name> : 从 公共 Blobstore 下 载 stemcell。 


(4) 管理 


* bosh create user[<name>][<password>]: 创建 用 户 。 


(5) job 管理 


* bosh start<job>[<index>]: 启动 job/instance。 


* bosh stop<job>[<index>]: 停止 job/instance。 


soft: 仅 停止 进程 。 


+ --hard: 关闭 虚拟 机 。 


* bosh restart<job>[<index>]: 重新 启动 job/instance ( 软 停止 + 启动 ) 。 


* bosh recreate<job>[<index>]: 重新 创建 job/instance ( 硬 停止 + 启动 ) o 

(6) log 管 理 

“bosh logs<job><index>: 提取 job 日 志 (RA) 或 代理 日 志 (如 果 提 供 了 选项 ) 。 

agent: 提取 代理 日 志 。 

* —only«filterl » [http://www.hzcourse.com/resoutce /readBook?path=/openresources/teach_ebook /uncompressed/16515/OEBPS/Text/...]: 仅 提 取 符 合 指定 过 滤器 (在 job 规范 中 定义 ) 的 条 件 的 日 志 。 
al: 提取 job 或 代理 日 志 目 录 中 的 所 有 目录 。 

(7) task 管 理 

“ bosh tasks: 显示 正在 运行 的 任务 的 列表 。 


* bosh tasks recent[<number>]: 显示 最 近 <number> 项 任务 。 


* bosh task[<task_id> |last]: 显示 任务 状态 并 开始 跟踪 其 输出 。 

+ --no-cache: 不 在 本 地 缓存 输出 。 

+ --event|--soap| 一 debug: 要 跟踪 的 不 同日 志 类 型 。 

< --taw: 未 处 理 的 日 志 。 

* bosh cancel task<id>: 任务 一 旦 达到 下 一 个 取消 检查 点 ， 即 将 其 取消 。 
(8) property 管 理 

* bosh set property<name><value>: 设置 deployment 属 性 。 

* bosh get property<name>: 获取 deployment 属 性 。 


* bosh unset property<name>: 取消 对 deployment 属 性 进行 的 设置 。 


* bosh properties: 列 出 当前 deployment 属 性 。 

+ --terse; 便于 分 析 输 出 。 

(9) 维护 

* bosh cleanup: 从 当前 BOSH Director 中 删除 除 最 近 几 个 stemcell 和 release 以 外 的 所 有 stemcell 和 trelease (不 删除 当前 正在 使 用 的 stemcell 和 release) 。 
* bosh cloudcheck (可 简写 为 bosh cck) : 云 一 致 性 检查 和 交互 式 修复 。 


- --auto: 自动 解决 问题 (对 于 生产 环境 ， 不 推荐 使 用 ) o 


report: 仅 生 成 报告 ， 不 尝试 解决 问题 。 


(10) 其 他 


“ bosh status: 显示 当前 状态 (当前 target、user、deployment 信 息 等 ) 。 


* bosh vms[<deployment>]: 列 出 所 有 应 在 deployment 范 围 内 的 虚拟 机 。 


* bosh tatget[<name>][<alias>]: 选择 要 与 哪个 BOSH Director 通 信 (还 可 以 选择 创建 一 个 别名 ) 。 如 果 不 提 供 参 数 ， 则 显示 当前 设 为 目标 的 BOSH Director. 


* bosh login[<name>][<password>]: 为 与 目标 BOSH Director 的 后 续 交 互 提供 凭据 。 


“ bosh logout: 忘记 已 保存 的 目标 BOSH Director 凭 据 。 


* bosh purge: 清除 本 地 清单 缓存 。 


(11) 远程 访问 


* bosh ssh<job>[index][<options>][command]: 在 指定 了 job 的 情况 下 ， 执 行 指定 的 命令 或 启动 交互 式 会 话 。 其 中 options 的 格式 如 下 : 


+ --public_key<file> 
+ --gateway_host<host> 


+ --gateway_user<user> 


* -default password (使 用 默认 的 ssh 密 码 ， 不 推荐 使 用 ) 


* bosh scp<job><--upload |--download> [options]/path/to/source/path/to/destination: 将 源 文件 上 传 /下 载 到 指定 的 job。 注 意 : 如 果 是 下 载 ， 则 /path/to/destination 是 一 个 目录 。 其 中 options 部 分 的 格式 如 


+ --index<job_index> 
+ --public_key<file> 
* bosh ssh_cleanup<job>|index]: 清理 SSH 证 书 。 


(12) Blob 管 理 


* bosh upload blob<blobs>: 将 指定 的 blob 上 传 到 Blobstore。 


force: 绕 过 重复 项 检查 。 
* bosh sync blobs: 将 blob 与 Blobstore 同 步 。 
+ --force: 用 远程 blob 履 盖 所 有 本 地 副本 。 


- bosh blobs: 输出 blob 状 态 。 


(13) 下 载 BOSH Stemcell 


1) 使 用 bosh public stemcells 列 出 公共 Stemcell， 方 法 如 下 : 

$ mkdir -p ~/stemcells 

$ cd stemcells 

$ bosh public stemcells 
4------------------------------- 二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 

| Name | Url | 

+------------------------------- 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 

| bosh-stemcell-0.4.7.tgz | https://blob.cfblob.com/rest/objects/4e4e7http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/16515/0EBPS/T 
| micro-bosh-stemcell-0.1.0.tgz | https://blob.cfblob.com/rest/objects/4e4e7http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/16515/OEBPS/1 
| bosh-stemcell-0.3.0.tgz | https://blob.cfblob.com/rest/objects/4e4e7http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/16515/0EBPS/T 
| bosh-stemcell-0.4.4.tgz | https://blob.cfblob.com/rest/objects/4e4e7http: //www.hzcourse .com/resource/readBook?path=/openresources/teach_ebook/uncompressed/16515/OEBPS/1 
+------------------------------- 二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 


2) 下 载 一 个 公共 Stemcell,， 方法 如 下 : 


bosh download public stemcell bosh-stemcell-0.1.0.tgz 


3) 将 下 载 的 Stemcell 上 传 到 BOSH， 方 法 如 下 : 


bosh upload stemcell bosh-stemcell-0.1.0.tgz 


(14) 上 传 BOSH Release 


其 中 一 个 公共 release。 以 下 步骤 说 明了 如 何 使 用 


trelease, 


1) 用 户 可 以 创建 一 个 BOSH Release， 也 可 以 使 有 


E 
Y 


cd /home/bosh user 


git clone ssh://[<your username>@] reviews .cloudfoundry.org:29418/bosh-release.git 


2) 从 bosh-release 上 传 一 个 公共 releasecd，, 方法 如 下 : 


bosh upload release bosh-1.yml 


5.2.6 ”BOSH 部 署 描 述 文件 的 属性 


BOSH 部 署 描述 文件 deployment manifest 是 一 个 YAML 文 件 ， 用 于 定义 deployment 的 布局 和 属性 。 当 BOSH 用 户 使 用 CLI 启 动 新 的 deployment 时 ，BOSH 控 制 器 会 收 到 一 个 版 本 的 deployment 
manifest， 并 使 用 此 manifest 创 建 一 个 新 的 部 署 计 划 。 清 单 包含 若干 部 分 : 


+ name[ 字 符 串 ， 必 需 ]: deployment 名 称 ， 一 个 BOSH 控 制 器 可 以 管理 多 个 deployment 并 通过 名 称 来 区 别 它们 。 

“director_uuid[ 字 符 串 ， 必 需 ]: 控制 器 UUID， 标 识 用 来 管理 给 定 deployment 的 BOSH 控 制 器 。 目 标 控制 器 的 UUID 应 该 与 此 属性 匹配 ， 这 样 BOSH CLI 才 会 允许 对 该 deployment 执 行 任 何 操作 。 
- release[ 哈 希 ， 必 需 ]: release 属 性 。 

:name[ 字 符 串 ， 必 需 ]: release 名 称 ， 引 用 将 用 于 解析 deployment 组 件 (package. job) 的 release 名 称 。 

“ vetsion[ 字 符 串 ， 必 需 ]: telease 版 本 ， 指 向 要 使 用 的 确切 telease 版 本 。 

“ compilation[ 哈 希 ， 必 需 ]: package 的 编译 属性 。 

“ workers[ 整 数 ， 必 需 ]: 指定 将 创建 多 少 个 用 来 编译 package 的 编译 虚拟 机 。 


“reuse_compilation_vms[ 布 尔 ， 可 选 ]: 如 果 设 置 为 True， 在 编译 package 时 将 重用 编译 虚拟 机 。 如 果 设 置 为 False， 那 么 每 次 需要 编译 新 package (作为 当前 deployment 一 部 分 ) 时 ， 都 将 创建 一 个 新 的 工作 进 
程 虚拟 机 (总 数 不 超 过 编译 工作 进程 数目 ) ， 完 成 单个 package 的 编译 后 将 关闭 此 虚拟 机 。 默 认 值 为 False。 如 果 IaaS 创 建 /删除 虚拟 机 所 耗费 的 时 间 很 长 或 者 需要 优化 package 的 编译 成 本 ,那么 建议 将 其 设置 为 
True (因为 编译 虚拟 机 的 存续 时 间 通 常 很 短 ， 并 且 在 茶 些 IaaS 计 党 方式 下 ， 会 将 使 用 时 间 向 上 使 入 为 一 个 小 时 ) 。 


“ network[ 字 符 事 ， 必 需 ]: 网 络 名 称 ， 引 用 在 networks 部 分 中 定义 的 有 效 网 络 名 称 ， 为 编译 虚拟 机 分 配 其 所 有 网 络 属性 时 依据 的 是 该 网 络 的 类 型 及 其 他 属性 。 
- cloud_properties[ 哈 希 ， 必 需 ]: 将 用 于 创建 编译 虚拟 机 的 任何 特定 于 IaaS 的 属性 。 
“ update[ 哈 希 ， 必 需 ]: 实例 的 更 新 属性 ， 这 些 属性 控制 部 署 期 间 将 如 何 更 新 job 实 例 。 


“ canaries[ 整 数 ， 必 需 ]: Canary 实 例 的 数目 。Canary 实 例 在 其 他 实例 之 前 更 新 ， 如 果 Canary 实 例 出 现任 何 更 新 错误 ， 则 意味 着 部 署 应 停止 。 这 样 可 以 防止 有 错误 的 package 或 job 接管 所 有 job 实例 ， 此 时 有 问 
题 的 代码 仅 会 影响 Canary。Canary 完 成 后 ， 此 job 的 其 他 实例 将 以 并 行 方 式 更 新 (遵照 max_in_flight 设 置 ) 。 


“ canary_watch_time[ 范 围 < 整 数 >， 整 数 ]: 在 认定 job 是 否 正常 运行 前 等 待 Canary 更 新 的 时 长 。 如 果 提 供 的 是 整数 ， 控 制 器 将 睡眠 一 定时 间 后 检查 job 是 否 正常 运行 ， 睡 眠 时 长 等 于 该 整数 所 表示 的 时 间 (以 
秒 为 单位 ) 。 如 果 给 定 的 是 lowhttp://www.hzcourse.comytesource/teadBook?path=/openresources/teach_ebook/uncompressed/16515/OEBPSVText/..high 范 围 ， 控 制 器 将 等 待 jow 毫 秒 后 检查 job 是 否 正常 运行 ， 如 
果 运 行 不 正常 ， 它 将 再 睡眠 low 毫 秒 ， 如 此 反复 下 去 ， 直 到 超过 high 毫 秒 为 止 。 如 果 此 时 job 的 运行 仍然 不 正常 ， 控 制 器 将 放弃 。 


* update_watch_time[ 范 围 < 整 数 > ， 整 数 ]: 从 语义 上 而 言 ， 与 canaty_watch_time 并 无 二 致 ， 用 于 常规 (3ECanary) 更 新 。 
“ max_in_flight[ 整 数 ， 必 需 ]: 可 以 并 行 执行 的 非 Canary 实 例 更 新 的 最 大 数目 。 

“ netwotks[ 哈 希 < 数 组 >， 必 需 ]: 描述 deployment 使 用 的 网 络 。 详 细 信 息 请 参见 [nework_spec]。 

+ resource_pools[ 哈 希 < 数 组 >， 必 需 ]: 描述 deployment 使 用 的 资源 池 。 详 细 信 息 请 参见 [resource_pool_spec]。 

+ jobs[ 哈 希 < 数 组 >， 必 需 ]: 列 出 包含 在 此 deployment 中 的 job。 详 细 信 息 请 参见 [job_spec]。 


+ properties[ 哈 希 ， 必 需 ]: 全 局 deployment 属 性 。 详 细 信 息 请 参见 [job_cloud_propetties]。 


1. 网 络 (network) 


网 络 规范 指定 了 job 可 以 引用 的 网 络 配置 。 不 同 环境 的 网 络 连 接 功 能 差别 很 大 ， 因 此 存在 多 种 网 络 类 型 。 每 种 类 型 都 有 一 个 必需 的 name 属 性 ， 该 属性 用 于 在 BOSH 中 标识 相应 的 网 络 ， 因 此 必须 是 唯一 
的 。 在 BOSH agent 和 laas 的 协助 下 ，BOSH Director 为 deployment 的 每 个 job 完成 网 络 配置 。 对 于 新 部 署 的 job， 这 一 动作 是 在 启动 虚拟 机 时 完成 的 ， 对 于 正在 运行 的 job 而 言 ， 当 manifest 发 生变 化 时 ， 
也 更 改 其 网 络 配置 ， 目 前 BOSH 支 持 以 下 三 种 类 型 的 网 络 配置 方式 : 


1) 动态 分 配 (dymanic) : BOSH Director 根 据 各 instance 所 在 子 网 将 IP 写 在 manifest 中 ， 并 且 在 部 署 的 时 候 将 IP 分 配给 各 个 instance。 


2) 手动 分 配 (manual) : 服从 laas 分 配 的 IP。 


3) 虚拟 IP (VIP) : BOSH Director 允 许 一 次 性 地 将 IP 分 配给 指定 的 ob， 并 人 允许 灵活 地 进行 IP 路 由 选择 。 这 种 网 络 只 是 一 个 由 虚拟 IP (例如 EC2 弹 性 IP) 组 成 的 集合 ， 每 个 job 规范 将 提供 这 种 网 络 应 该 
具有 的 IP 的 范围 ， 实 际 虚 拟 机 无 法 感知 这 些 IP。 


— 


+ static: 在 manifest 中 明确 地 指定 IP。 


- automatic: 根据 网 络 类 型 动态 的 选择 IP， 如 下 表 所 示 。 


A dynamic network vip network 
static IP assignment Supported Not supported Supported 
automatic IP assignment Supported, default Supported Not supported 


可 以 通过 以 下 三 个 步骤 完成 网 络 配 


1) 配置 laaS: 这 部 分 工作 不 在 BOSH 的 职责 范围 内 。 以 AWS 为 例 ， 用 户 应 先 创建 VPC 和 subnets， 并 为 它们 制作 路 由 表 。 


2) 将 network 段 加 到 manifest 中 。 例 如 ， 用 户 手 动 地 将 subnet 的 ID 填写 在 subnet 的 云 属性 中 。 


3) 将 网 络 配置 与 job 相关 联 ， 命 令 如 下 ; 


networks: 
- name: my-network 


http: //www.hzcourse.com/resource/readBook?path=/openresources/teach_ebook/uncompressed/16515/OEBPS/Text/... 


- name: my-other-network 


type: http://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/OEBPS/Text/... 


# IaaS specific attributes 
cloud properties: ( http://www.hzcourse.com/resource/readBook?path-/openresources/te 


jobs: 
- name: my-job 


# Network associations for 'my-job' 
networks: 
- name: my-network 


ach ebook/uncompressed/16515/OEBPS/Text/...] 


http: //www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/OEBPS/Text/... 


name: my-multi-homed-job 
networks: 

- name: my-network 

- name: my-other-network 


http: //www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/OEBPS/Text/... 


name: my-static-job 

networks: 

- name: my-network 

# Static IP reservations for 'my-job' 
static ips: [IP1] 


http: //www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/OEBPS/Text/... 


有 三 种 网 络 类 型 : 


@manual: 这 种 网 络 完全 由 BOSH 管 理 ， 为 动态 、 静 态 和 预 留 的 IP 池 、DNS 服 务 器 提供 了 范 


。 手 动 管理 的 网 络 可 以 进一步 划分 成 若干 子 网 。 使 


这 种 类 型 的 网 络 时 ，BOSH 将 负责 分 配 IP 地 址 、 执 行 


与 网 络 有 关 的 健全 性 检查 以 及 告知 虚拟 机 它们 打算 使 用 哪些 网 络 配 


“ range[ 字 符 囊 ， 必 需 ]: 
“ gateway[ 字 符 囊 ， 可 选 ]: 子 网 网 关 IP。 
. dns[ 数 组 < 字符 串 >， 可 选 ]: 此 子 网 的 DNS IP 地 址 。 


“ cloud. properties: 传递 给 CPI 的 不 透明 且 特 定 于 IaaS 的 详细 信息 。 


。 这 种 类 型 的 网 络 只 有 subnets 这 一 个 额外 


属性 ， 该 属性 是 一 个 哈 希 数组 ， 其 中 的 


每 个 哈 希 都 是 一 个 包含 以 下 属性 的 子 网 规范 : 


包含 此 子 网 中 的 所 有 IP 的 子 网 IP 范 围 (由 Ruby 的 NetAddr::CIDR.create 语 义 定义 ) 。 


P tesetved[ 字 符 串 ， 可 选 ]: 预 留 的 人 P 范 围 。 该 范围 内 的 IP 绝 不 会 分 配给 由 BOSH 管 理 的 虚拟 机 ， 这 些 IP 应 该 完全 在 BOSH 之 外 进行 管理 。 


mk 


+ static[ AF 


下 面 是 一 段 示例 代码 : 


$, Tk]: 静态 IP 范 围 。 当 job 请 求 静 态 了 时， 所 有 这 些 IP 都 应 来 自 于 某 个 子 网 静态 IP 池 。 


networks: 
- name: my-network 
type: manual 


subnets: 

- range: 10.10.0.0/24 
gateway: 10.10.0.1 
dns: [10.10.0.2] 


# IPs that will not be used for anything 
reserved: [10.10.0.2-10.10.0.10] 


Cloud properties: (subnet: subnet-9be6c3f7] 


- range: 10.10.1.0/24 
gateway: 10.10.1.1 
dns: [10.10.1.2] 


# IPs that can only be used for static IP reservations within this subnet 
static: [10.10.1.11-10.10.1.20] 
cloud properties: (subnet: subnet-9be6c6gh] 


manual 类 型 的 网 络 默认 使 


jobs: 
- name: my-job-with-static-ip 
instances: 2 


自动 |P 预 留 模式 ， 当 然 它 也 支持 静态 IP 预 留 。 如 果 想 将 指定 的 |P 分 配给 各 job 的 实例 ， 就 需要 将 它们 写 在 job 的 network 段 中 ， 通 过 static ips 来 将 这 些 IP 分 配给 该 job。 


http: //www.hzcourse.com/resource/readBook?path=/openresources/teach_ebook/uncompressed/16515/OEBPS/Text/... 


networks: 

- name: my-network 
# IPs associated with 2 instances of 'my-job-with-static-ip' job 
static ips: [10.10.1.11, 10.10.1.12] 


如 果 两 个 不 同 的 deployment 的 IP 分 配 发 
让 两 个 deployment 使 用 不 同 的 IP 区 间 的 地 


73 
止 ， 二 是 让 它们 继续 使 


@dynamic: 这 种 网 络 并 非 由 BOSH 加 以 管理 。 使 用 这 种 网 络 | 
当前 IP 地 址 。 这 种 网 络 支 持 的 唯一 一 个 额外 


属性 是 cloud_properties， 该 


属性 包 


三， 此 时 BOSH Director 将 不 能 识别 出 哪个 |P 已 经 被 使 用 过 了 ， 因 
同一 个 区 间 ， 但 是 将 另外 一 个 deployment 已 经 使 用 的 


的 虚拟 机 应 该 是 从 DHCP 服 务 器 或 者 通过 


为 这 个 IP 是 在 另外 一 个 deployment 中 使 
P 写 在 本 reserved 


的 。 对 于 这 种 情况 ， 有 两 种 解决 方案 : 一 是 
属性 中 ， 此 时 再 部 署 就 不 会 使 用 会 造成 冲突 的 那些 IP 了 。 


H 


他 方式 获取 其 |P 地 址 及 


其 他 网 络 配置 ，BOSH 将 相信 每 一 个 虚拟 机 在 其 get_state 响 应 中 报告 的 其 


CPI 的 任何 特定 于 laaS 的 网 络 详细 信息 。 


networks: 

- name: my-network 
type: dynamic 
dns: [10.10.0.2] 


Cloud properties: (subnet: subnet-9be6c3f7] 


有 的 IP 的 范 


i 


@vip: 这 种 网 络 只 是 一 个 由 虚拟 IP (例如 EC2 弹 性 IP) 组 成 的 集合 ， 每 个 job 规范 将 提供 这 种 网 络 应 该 
属性 包含 用 于 CPI 的 任何 特定 于 1aaS 的 网 络 详细 信息 。 


cloud properties， 该 


由 。 实 际 虚 拟 机 无 法 感知 这 些 IP。 这 种 网 络 支持 的 唯一 一 个 额外 属性 是 


4) 多 宿主 虚拟 机 : 一 个 deployment 的 job 可 以 通过 多 种 网 络 排列 获得 多 个 |P， 对 于 有 多 个 IP 的 虚拟 
的 default 属 性 来 指定 。 下 面 给 出 了 一 个 例子 : 


几 ，VM 需 要 决定 使 用 哪个 DNS 和 哪个 网 关 来 作为 该 虚拟 机 的 默认 DNS 和 网 关 ， 可 以 通过 manifest 


networks: 

- name: my-network-1 
type: dynamic 
dns: [8.8.8.8] 

- name: my-network-2 
type: dynamic 
dns: [4.4.4.4] 


jobs: 


- name: my-multi-homed-job 
http: //www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/OEBPS/Text/... 
networks: 
- name: my-network-1 
default: [dns, gateway] 
- name: my-network-2 


- name: my-other-multi-homed-job 
http://www .hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/OEBPS/Text/... 
networks: 
- name: my-network-1 
default: [dns 
- name: my-network-2 
default: [gateway] 


在 上 面 的 例子 中 ， 部 署 了 my-multi-homed-job job 的 那个 虚拟 机 将 会 以 8.8.8.8 作 为 其 主 DNS 服 务 器 ， 缺 省 网 关 也 将 会 是 my-network_1 所 使 用 的 那个 网 关 。 部 署 了 my-other-homed-job 的 那个 虚拟 
机 将 会 使 用 4.4.4.4 作 为 其 主 DNS 服 务 器 ， 缺 省 网 关 将 会 是 my-nwtwork-2 所 使 用 的 那个 网 关 。 


2.CPI 限 制 条 件 


BOSH director 不 会 限制 一 个 job 会 使 用 多 少 种 网 络 设置 ， 但 是 不 同 的 CPI 会 对 网 络 类 型 进行 限制 。 如 下 表 所 示 。 


AWS ^r. 对 应 于 一 个 Elastic IP 
OpenStack -个 ， 对 应 于 一 个 浮 点 下 
vSphere 不 支持 

vCloud 不 支持 


(1) 资源 池 


资源 池 规 范本 质 上 就 是 一 个 描绘 由 BOSH 创 建 和 管理 的 虚拟 机 的 蓝图 。 一 个 deployment manifest 中 可 能 有 多 个 资源 池 ，name 用 于 标识 和 引用 它们 ， 因 此 它 在 本 deployment 中 是 应 该 唯一 的 。 资 源 池 
虚拟 机 在 deployment 中 创建 ， 随 后 job 会 应 用 于 这 些 虚拟 机 。job 可 能 会 覆盖 部 分 资源 池 设置 (如 网 络 ) ， 但 一 般 而 言 ， 资 源 池 是 根据 容量 和 laaS 配 置 需求 划分 job 的 良好 工具 。 资 源 池 规 范 的 属性 有 : 


: name[ 字 符 串 ， 必 需 ]: 唯一 的 资源 池 名 称 。 
+ network[ 字 符 囊 ， 必 需 ]: 引用 一 个 网 络 名称 。 空 六 的 资源 池 虚 拟 机 将 使 用 这 种 网 络 配 置 。 之 后 ， 向 这 些 资源 池 虚 拟 机 应 用 job 时 ， 可 以 重新 配置 网 络 来 满足 job 的 需求 。 
“ size[ 整 数 ， 必 需 ]: 资源 池 中 的 虚拟 机 数目 。 资 源 池 的 大 小 应 至 少 达 到 使 用 它 的 job 实 例 总 数 。 还 可 能 有 额外 的 虚拟 机 ， 在 添加 更 多 job 来 填充 这 些 虚 拟 机 之 前 ， 这 些 虚 拟 机 将 一 直 处 于 空 六 状态 。 


-stemcell A, LE]: 用 于 运 和 


原 池 虚 拟 机 的 Stemcell。 

+ name[ 字 符 囊 ， 必 需 ]: Stemcell 的 名 称 。 

“version[ 字 符 事 ， 必 需 ]: Stemcell 的 版 本 。 

+ cloud_properties[ 哈 希 ， 必 需 ]: 特定 于 IaaS 的 资源 池 属 性 (请 参见 [job_cloud_properties]) 。 

envi, Tit]: 虚拟 机 环境 ， 用 于 向 CPI“create_stemcell” 调 用 提供 特定 的 虚拟 机 环境 。 这些 数据 将 以 虚拟 机 设置 的 形式 供 BOSH 代 理 使 用 。 默 认为 {} ( 空 哈 希 ) 。 


(2) job 配 置 规范 


job 是 运行 同一 软件 ， 实 质 上 就 是 表示 同一 角色 的 一 个 或 多 个 虚拟 机 ( 称 作 实例 ) 。job 使 用 作为 release 一 部 分 的 job 模 板 来 向 虚拟 机 中 填充 包 、 配 置 文 件 ， 并 告知 BOSH 代 理 要 在 特定 虚拟 机 上 运行 什么 
内 容 的 控制 脚本 。 常 用 的 job 属 性 有 : 


: name[ 字 符 串 ， 必 需 ]: 唯一 的 job 名 称 。 


: template[ 字 符 事 ， 必 需 ]: job 模 板 。job 模 板 是 release 的 一 部 分 ， 通 常 包含 (以 原始 形式 ) 在 telease tepo 中 telease 的 jobs 目 录 中 ， 并 作为 release 捆 绑 包 的 一 部 分 上 传 到 BOSH 控 制 器 
“ persistent_disk[ 整 数 ， 可 选 ]: 持久 磁盘 的 大 小 。 如 果 它 是 正 整 数 ， 则 会 创建 持久 磁盘 并 将 该 磁盘 连接 到 每 个 job 实例 虚拟 机 。 默 认 值 为 0 (LAME) 。 

+ properties[ 哈 希 ， 可 选 ]: job 属性 。 详 细 信 息 请 参见 [ob_cloud_properties]。 

+ tesoutce_pool[ 字 符 串 ， 必 需 ]: 要 运行 job 实例 的 资源 池 。 引 用 resource_pool 部 分 中 的 一 个 有 效 资源 池 名 称 。 

“ update[ 哈 希 ， 可 选 ]: 特定 于 job 的 更 新 设置 。 通 过 它 可 以 在 每 个 job 的 设置 中 履 盖 全 局 job 更 新 设置 (与 propetties 类 似 ) 。 

+ instances[ 整 数 ， 必 需 ]: job 实例 的 数目 。 每 个 实例 是 一 个 运行 此 特定 job 的 虚拟 机 。 

“ networks[ 数 组 < 哈 希 >]: 此 job 所 需 的 网 络 。 对 于 每 个 网 络 ， 可 以 指定 以 下 属性 : 

.name[ 字 符 串 ， 必 需 ]: 在 networks 中 指定 网 络 名 称 。 

“static_ips[ 区 间 ， 可 选 ]: 指定 job 应 在 该 网 络 中 静态 的 IP 地 址 范围 。 


+ default[ 数 组 ， 可 选 ]: 指定 从 此 网 络 中 填充 哪些 默认 网 络 组 件 (DNS、 网 关 ) ， 仅 在 有 多 个 网 络 时 才 有 意义 


(3) job 属性 和 云 属性 


在 deployment manifest 中 可 以 提供 两 种 类 型 的 属性 。 


1) cloud_properties: 向 CPI 传 递 的 不 透明 哈 希 (通常 “ 按 原样 ”传递 ) 。 通 常 它 控制 着 一 些 特定 于 laas 的 属性 (如 虚拟 机 配置 参数 、 网 络 VLAN 名 称 等 ) ，CPI 需 验证 这 些 属性 是 否 正确 。 


2) job 属性 : 几乎 所 有 重要 的 job 都 需要 填 入 一 些 属性 ， 以 便 它 了 解 如 何 与 其 他 job 通信 以 及 要 使 用 哪些 非 默认 设置 。BOSH 人 允许 在 deployment manifest 的 属性 部 分 中 列 出 全 局 deployment 属 性 。 
Director 会 以 递归 方式 将 所 有 这 些 属性 从 哈 希 转 换 成 Ruby OpensStruct 对 象 ， 以 便 使 用 原始 哈 希 键 名 称 作 为 方法 名 来 访问 它们 。 所 得 到 的 OpenStruct 以 “properties” 名 称 公开 ， 并 且 可 以 在 任意 job 配置 


模板 中 加 以 处 理 (使 用 ERB 语 法 ) 。 


3. 实 例 


实例 规范 是 一 种 任何 job 配 置 文 件 错 可 访问 的 特殊 对 象 ， 与 properties 类 似 (实际 上 properties 仅 仅 是 spec.properties 的 简易 版 ， 它 们 只 是 规范 的 一 小 部 分 ) 。 它 包含 很 多 属性 ，job 创 建 程序 可 以 使 
这 些 属性 来 访问 特定 job 实 例 环境 的 详细 信息 ， 还 可 以 使 用 它们 在 创建 job 时 作出 基于 运行 时 的 决策 。job 和 index 是 实例 规范 的 两 个 重要 组 成 部 分 。job 包 含 job 名 称 ，index 包 含 从 0 开始 的 实例 索引 。 如 果 用 
户 希 望 对 特定 job 实 例 仅 执 行 某 些 操 作 (如 数据 库 迁 移 ) ， 或 者 希望 仅 在 某 些 实例 上 而 非 全 部 实例 上 测试 新 功能 ， 此 索引 便 会 派 上 重要 用 场 。 通 过 此 规范 提供 的 其 他 内 容 有 networks 和 resource_pool， 在 获 
取 有 关 job 行 踪 的 一 些 数据 时 ， 它 们 可 能 会 派 上 用 场 。 


4.BOSH 属 性 存储 


deployment manifest 清 单 是 一 个 yaml 文 件 ， 但 它 在 经 过 ERB 处 理 后 才 会 实际 使 用 ， 因 此 它 可 能 包含 ERB 表 达 式 。 通 过 此 清单 ，BOSH 控 制 器 可 以 替换 其 数据 库 中 保存 的 一 些 属性 ， 以 便 敏 感 或 易 变 的 
数据 仅 在 部 署 时 设置 ， 而 不 是 由 清单 作者 在 创建 实际 清单 时 设置 。 


5.2.7 ”使 用 BOSH 创 建 自己 的 release 


BOSH release 包 含 了 一 个 或 者 多 个 可 以 协同 工作 以 实现 所 需 功 能 的 软件 。 下 面 我 们 将 以 一 个 包含 两 个 MySQL 节 点 和 一 个 Dashboard 节 点 的 APP 为 例 ， 一 步 一 步 地 展示 如 何 创建 属于 自己 的 BOSH 


release。 


首先 介绍 一 下 BOSH release 的 基本 要 素 : 


“job: 描述 这 个 release 中 需要 的 service 和 APP。 
+ package: 为 各 个 job 提供 源码 和 依赖 关系 。 
source: 为 package 提 供 非 二 进 制 的 文件 。 


* blobstore: 为 package 提 供 不 会 被 提交 到 源码 repository 的 二 进 制 文件 。 


下 面 的 步骤 是 完成 一 个 release 的 全 部 过 程 。 通 过 执行 这 些 步 又， 就 可 以 得 到 一 个 dev release。 如 果 对 这 个 dev release 满 意 的话 ， 就 可 以 进一步 创建 一 个 final release, 


(1) 创建 一 个 release 目 录 


进入 workspace 目 录 ， 运 行 下 面 的 命令 ，BOSH 将 会 自动 创建 一 个 完整 的 release 目 录 结 构 : 


bosh init release <release_name> 


release 的 名 字 里 面 可 以 包含 中 划 线 ，release 中 的 各 个 文件 名 字 中 可 以 包含 下 划 线 ， 如 图 5-13 所 示 。 


图 5-13 telease 目 录 结 构 


部 署 release 的 时 候 ，BOSH 会 将 编译 后 的 代码 和 其 他 资源 放 在 实现 了 这 些 job 的 虚拟 机 的 /var/vcap 目 录 中 。 对 应 于 release 的 四 个 基本 要 素 : jobs、packages、src 和 blobs， 该 虚拟 机 上 将 会 出 
现 /var/vcap/jobs、/var/vcap/packages、/var/vcap/src 以 及 /var/vcap/blobs 四 个 目录 。 


(2) 移植 src 目 录 


这 一 步 将 源码 复制 到 src 目 录 ， 当 源码 引用 了 其 他 资源 (如 git submodule 或 者 Mercurial repo) 的 时 候 ， 也 要 将 那 部 分 源码 放 到 src 中 。 
(3) 选择 工作 策略 

如 果 release 中 包含 少量 job， 按 步骤 进行 部 署 更 简单 。 反 之 ， 若 包含 大 量 的 job， 每 次 完成 一 种 job 更 为 有 效 。 

job 是 package 的 实现 ， 即 运行 package 中 的 一 个 或 多 个 进程 。job 包 含 运行 package 中 的 二 进 制 文件 所 需 的 配置 文件 和 启动 脚本 。 


job 与 虚拟 机 之 间 存 在 一 对 多 的 映射 关系 ， 在 任何 给 定 的 虚拟 机 中 都 只 能 运行 一 个 ob， 但 多 个 虚拟 机 可 以 运行 同一 个 ob。 例如 ， 可 能 会 有 四 个 虚拟 机 都 在 运行 BOSH director job， 但 BOSH director 
job 与 DEA job 不 能 在 同一 虚拟 机 中 运行 。 如 果 用 户 需要 在 同一 虚拟 机 中 运行 两 个 不 同 的 进程 (从 两 个 不 同 的 package 中 运行 ) ， 那 么 需要 创建 一 个 可 以 启动 这 两 个 进程 的 ob。 首 次 启动 虚拟 机 时 ， 该 job 为 
Stemcell，Stemcell 可 以 变 成 任何 类 型 的 job。 当 控制 器 指示 虚拟 机 运行 job 时 ， 首 先 就 会 运行 该 job， 以 使 它 获得 自己 的 身份 。 


步骤 1: 创建 job 骨架 


进入 release 目 录 ， 运 行 下 面 的 命令 来 创建 job 的 骨架 : 


bosh generate job «job name» 


在 本 例 中 ， 两 次 运行 该 命令 ,一 次 用 于 生成 MySQL job, 另 外 一 次 生成 dash board job。 从 图 5-14 中 可 以 看 到 job 的 基本 结构 : 


图 5-14 job 的 基本 结构 


@ 创 建 控制 脚本 


每 个 job 都 需要 一 个 控制 其 启动 和 停止 的 方式 ， 所 以 我 们 用 一 个 控制 脚本 来 实现 这 一 功能 。 在 BOSH release 中 ， 我 们 将 该 脚本 命名 为 monit 文 件 。 该 控制 脚本 要 包含 一 个 启动 和 停止 job 的 命令 ， 还 需要 
一 个 erb 模 板 ， 存 放 在 templates 目 录 下 。 创 建 一 个 名 为 ctl.erb 的 脚本 ， 在 此 脚本 中 ， 将 指定 此 job 的 log 文 件 放 在 /var/vcap/syslog/JOB_NAME 中 。 控 制 脚本 的 形式 如 下 所 示 : 


#!/bin/bash 

RUN_DIR=/var/vcap/sys/run/web_ui 

LOG DIR-/var/vcap/sys/log/web ui 

PIDFILE-$(RUN DIR)/pid 

case $1 in 

start) 

mkdir -p $RUN DIR $LOG DIR 

chown -R vcap:vcap S$RUN DIR $LOG DIR 

echo $$ > $PIDFILE 

cd /var/vcap/packages/web ui 

export PATH-/var/vcap/packages/ruby 1.9.3/bin:$PATH 
exec /var/vcap/packages/ruby 1.9.3/bin/bundle exec \ 
rackup -p <%= properties.web ui.port $» \ 


>> $LOG DIR/web ui.stdout.log \ 
2»» $LOG DIR/web ui.stderr.log 


stop) 
kill -9 'cat SPIDFILE' 
rm -f SPIDFILE 


*) 


echo "Usage: ctl {start|stop}" ;; 


esac 


@ 更 新 monit 文 件 

monit 文 件 中 应 该 包含 以 下 内 容 : 

+ 为 该 job 指定 进程 ID， 即 pid。 

:将 该 job 指定 为 vcap 组 。 

- 引用 templates 中 供 该 job 使 用 的 各 个 命令 。 


在 一 个 部 署 好 的 release 中 ， 运 行 着 job 的 虚拟 机 上 都 会 有 一 个 BOSH agent。BOSH 与 agent 沟 通 ， 将 其 指令 转化 为 控制 脚本 中 的 命令 。 该 agent 使 用 一 个 开源 的 监控 软件 monit 来 实现 这 一 功能 。 
web_ui job 的 monit 文 件 内 容 如 下 : 


check process web ui 
with pidfile 7var/vcap/sys/run/web_ui/pid 
start program "/var/vcap/jobs/web_ui/bin/ctl start" 
stop program "/var/vcap/jobs/web ui/bin/ctl stop" 


group vcap 


job 模板 是 job 的 经 过 泛 化 的 配置 文件 和 脚本 ， 在 Stemcell 转 变 成 job 时 ，job 将 使 用 ERB 文 件 来 生成 最 终 的 配置 文件 和 脚本 。 将 配置 文件 转变 成 模板 时 ， 会 将 特定 于 实例 的 信息 抽象 成 一 个 属性 ， 之 后 当 
director 在 虚拟 机 上 启动 job 时 会 提供 该 属性 。 例 如 ， 这 种 信息 可 以 是 Web 服 务 器 应 在 哪个 端口 上 运行 ， 或 者 数据 库 应 使 用 哪个 用 户 名 及 密码 。 这 些 文件 位 于 templates 目 录 中 ， 在 job spec 文 件 中 的 
templates 部 分 中 提供 了 模板 文件 与 其 最 终 位 置 之 间 的 映射 关系 。 下 面 是 一 个 示例 : 


foo ctl.erb:bin/foo ctl 
foo.yml.erb:config/foo.yml 
foo.txt:config/foo.txt 


@@ 更 新 job 的 spec 文 件 


在 编译 的 时 候 ，BOSH 将 template 转 化 为 文件 ， 并 将 该 文件 放 到 部 署 了 该 job 的 虚拟 机 上 。 在 job 的 spec 文 件 中 ，templates 块 中 包含 了 一 些 key/value 数 据 ， 其 中 的 key 是 指 template 的 名 字 ，value 是 
这 些 文 件 在 虚拟 机 上 的 位 置 。 


在 template 文 件 中 所 提供 的 文件 路 径 通 常 与 /var/vcap/jobs/JOB_NAME 相 关联 ， 比 如 文件 中 写 着 路 径 为 bin/ctl 的 文件 将 会 存在 虚拟 机 上 /var/vcap/jobs/JOB_NAME/bin/ctl 的 位 置 。 


templates: 
ctl.erb: bin/ctl 


@ 提 交 


当 创 建 完了 所 需要 的 job 的 骨架 之 后 ， 就 可 以 将 其 提交 了 。 如 果 在 运行 BOSH init release 的 时 候 添加 git 选 项 ， 将 会 自动 创建 一 个 正确 的 .gitignore 文 件 。 


步骤 2: 创建 依赖 关系 图 
BOSH release 中 包含 两 种 依赖 关系 : 


1) 运行 时 依赖 ， 即 job 在 运行 时 就 依赖 于 某 一 个 包 ， 比 如 web_ui 会 依赖 于 Ruby。 


2) 编译 时 依赖 ， 即 一 个 包 在 编译 时 依赖 于 另 一 个 包 ， 比 如 Ruby 会 依赖 于 Yaml 库 。 


一 般 来 讲 ，job 可 以 依赖 于 包 ， 包 可 以 依赖 于 另外 一 个 包 ， 但 是 job 之 间 不 可 以 相互 依赖 。 


创建 依赖 关系 图 有 助 于 明确 release 中 job 和 package 之 间 的 依赖 关系 ， 从 而 对 整个 release 有 更 深入 的 理解 。 


当 控 制 脚本 和 其 他 模板 文件 引用 了 包 名 时 ， 使 用 了 该 模板 的 job 将 会 在 运行 时 引用 这 个 包 。 找 到 job 的 控制 脚本 所 引用 的 所 有 包 ， 将 它们 放 到 运行 时 依赖 关系 
ardo_app: 


中 。 如 下 例 中 ， 两 个 job 的 ctl.erb 都 引用 了 


Jn) 


cd /var/vcap/packages/ardo app 


下 面 的 描述 表示 引用 了 Ruby: 


exec /var/vcap/packages/ruby 1.9.3/bin/bundle exec 


根据 上 文中 我 们 对 运行 时 依赖 的 描述 ， 可 以 考虑 这 些 被 依赖 的 包 是 否 也 依赖 其 他 包 。 如 果 依 赖 其 他 包 ， 那 么 被 依赖 的 包 就 是 该 job 的 一 个 编译 时 的 依赖 ， 也 需要 将 编译 时 的 依赖 放 进 依赖 关系 图 中 ， 否 则 
在 后 续 使 用 BOSH 来 部 署 的 时 候 ，BOSH 将 会 提示 你 去 添加 。 在 本 例 中 ， 我 们 已 经 知道 该 job 在 运行 时 依赖 Ruby 1.9.3， 但 是 Ruby 1.9.3 可 能 还 需要 其 他 的 包 ，libyaml 0.1.4 就 是 其 中 一 项 。 


5-15 展 示 了 我 们 的 release 的 一 个 完整 的 依赖 关系 


[IR] 


[ 


bg_worker 


ruby 运行 时 依赖 


编译 时 依赖 
Libyaml "— 


图 5-15 release 的 一 个 完整 的 依赖 关系 图 


越 庞大 复杂 的 release， 其 依赖 关系 图 也 越 复杂 。 


步骤 3: 创建 package 骨 架 


package 是 一 个 集合 ， 其 中 包含 三 个 部 分 : GRIS; @ 一 段 脚本 ， 该 脚本 包含 了 相应 的 指令 来 说 明 如 何 将 此 源 代 码 编译 成 二 进 制 格式 并 加 以 安装 ; @ 与 其 他 必 备 package 的 依赖 关系 ， 此 项 可 选 。 


package 是 在 部 署 期 间 根据 需要 进行 编译 的 。BOSH Director 首 先 会 检查 要 将 该 package 部 署 到 的 stemcell 版 本 是 否 已 经 有 了 该 package 的 已 编译 版 本 ， 如 果 尚 不 存在 已 编译 的 版 本 ， 控 制 器 将 实例 化 
一 个 编译 虚拟 机 (使 用 要 将 该 package 部 署 到 的 同一 stemcell 版 本 ) ， 编 译 虚 拟 机 将 从 Blobstore 中 获取 该 package 的 源 代码 ， 对 其 进行 编译 ， 然 后 将 得 到 的 二 进 制 文件 打包 并 存储 到 Blobstore 中 。 


为 了 将 源 代码 转变 成 二 进 制 文件 ， 每 个 package 都 有 packaging 肢 本， 该 脚本 负责 编译 ， 并 在 编译 虚拟 机 上 运行 。 该 脚本 会 获取 从 BOSH 代 理 中 设置 的 两 个 环境 变量 : 
: BOSH_INSTALL_TARGET: 用 于 告知 要 将 该 package 生 成 的 文件 安装 到 何 处 。 它 设置 为 /var/vcap/data/packages/<package name>/<package version>。 


- BOSH_COMPILE_TARGET: 用 于 告知 包含 源 代码 的 目录 (在 调用 packaging 脚 本 时 为 当前 目录 ) 。 安 装 该 package 时 ， 将 从 /var/vcap/packages/<package name> 创 建 一 个 指向 该 package 最 新 版 本 的 符号 链 
接 。 在 packaging 脚 本 中 引用 其 他 package 时 应 使 用 该 链接 。 有 一 段 可 选 的 pre_packaging 脚 本 ， 在 BOSH create release 执 行 期 间 汇 编 该 package 的 源 代码 时 会 运行 此 脚本 。 例 如 ， 此 脚本 可 以 用 来 限制 将 源 代码 中 的 哪 
些 部 分 打包 并 存储 在 Blobstore 中 。 此 脚本 会 获取 由 BOSH CLI 设 置 的 环境 变量 BUILD_DIR， 此 环境 变量 表示 包含 要 打包 的 源 代码 的 目录 。 


“ package 规 范 : package 的 内 容 在 spec 文 件 中 加 以 指定 ， 此 文件 包含 三 个 部 分 : (Dname: package 的 名 称 。(@)dependencies: 可 选 ， 表 示 该 package 依 赖 的 其 他 package 的 列表 ，(3)files: 该 package 包 含 的 文件 的 
列表 ， 可 以 包含 gob。* 与 任何 文件 都 匹配 ， 可 以 通过 glob 中 的 其 他 值 加 以 限制 。 例 如 , *# 由 仅 匹 配 以 .中 结尾 的 文件 。 六 以 递归 方式 匹配 目录 。 当 BOSH Director 在 部 署 期 间 计 划 package 的 编译 工作 时 ， 它 首先 会 
确保 所 有 依赖 项 均 已 编译 ， 接 着 才 会 编译 当前 package; 还 会 确保 在 开始 编译 前 ， 依 赖 的 所 有 package 均 安装 到 了 编译 虚拟 机 上 。 


package 包 含 了 BOSH 所 需要 的 二 进 制 信息 和 job 的 依赖 关系 。 


按照 依赖 关系 图 ， 自 下 而 上 地 创建 package。 


bosh generate package <dependency name> 


在 本 例 中 ， 我 们 需要 将 此 命令 运行 三 次 。 根 据 自 下 而 上 的 原则 ， 依 次 创建 libyaml、ruby 和 ardo_app 三 个 package。package 的 基本 框架 如 图 5-16 所 示 。 


13, 


$ tree packages 
packages 
ardo_app 
packaging 
pre_packaging 
spec 
libyaml M 


packaging 


pre. packaging 


spec 
ruby. 1.9.3 
packaging 


pre. packaging 


spec 


将 每 个 依赖 放 在 一 个 单独 的 包 中 ， 将 使 复 用 率 最 大 化 。 


1) 更 新 packaging spec 文 件 


图 5-16 ”package 的 基本 架构 图 


每 个 包 目 录 中 都 会 有 一 个 名 为 spec 为 文件 ， 该 文件 声明 了 包 的 名 字 、 包 的 依赖 项 以 及 编译 时 所 需要 的 二 进 制 文件 和 其 他 包 的 位 置 ， 以 便 BOSH 部 署 时 所 用 。 


根据 依赖 关系 图 来 决定 哪 一 个 依赖 项 属于 哪个 spec。 在 本 例 中 ，Ruby 的 spec 中 写 明 了 它 依赖 于 rubygems 和 bundler。 为 了 保证 用 户 的 release 可 以 在 多 个 版 本 的 stemcell 中 使 用 ， 不 要 依赖 当前 
stemcell 中 包含 的 库 或 者 软件 。 


在 spec 的 files 块 中 对 二 进 制 文件 所 在 的 位 置 描述 如 下 : 


@@ 找 到 所 需要 的 包 的 官方 网 站 地 址 ， 以 ruby 1.9.3 为 例 ， 其 官方 地 址 为 : http://cache.ruby-lang.org/pub/rub 


@ 下 载 到 本 地 ， 确 保 文件 hash 匹 配 。 


@@ 将 版 本 号 用 斜 线 连接 在 文件 名 之 后 ， 还 可 以 在 同一 行 标注 引用 的 官方 地 址 。 


BOSH 认 为 记录 在 files 段 的 位 置 是 在 src 或 者 blobs 目 录 中 ， 通 常 它 会 从 src 开 始 着 手 查找 。 当 用 户 将 blob 提 交 到 Blobstore 中 之 后 ，BOSH 将 会 更 新 blob 目 录 中 的 内 容 。 如 果 该 package 还 依赖 它 自身 的 源 
那么 使 用 一 个 globbing pattern<package-_name>/**/* 来 以 深度 优先 的 形式 遍历 src， 就 可 以 找到 源码 了 。 下 面 的 例子 将 说 明 如 何 更 新 package 的 spec 文 件 。 


libyam| 包 的 spec 范 例如 下 : 


name: libyaml_0.1.4 
dependencies: [] 


files: 


- libyaml 0.1.4/yaml-0.1.4.tar.gz # From http://pyyaml.org/download/libyaml/yaml-0.1.4.tar.gz 


Ruby 包 的 spec 范 例如 下 : 


name: ruby 1.9.3 


dependencies: 
- libyaml_0.1.4 


files: 

- ruby 1.9.3/ruby-1.9.3-p484.tar.gz | 4 http://cache. ruby—lang.org/pub/ruby/1.9/ruby-1.9.3-p484. tar.gz 
- ruby 1.9.3/rubygems-1.8.24.tgz # http://rubyforge.org/frs/download.php/76073/rubygems-1.8.24.tgz 
- ruby 1.9.3/bundler-1.2.1.gem # https://rubygems.org/downloads/bundler-1.2.1.gem 


ardo_app 包 的 spec 范 例如 下 : 


name: ardo_web 


dependencies: 
- ruby 1.9.3 


files: 
- ardo web/**/* 


2) 创建 packaging 脚 本 


编译 的 时 候 ，BOSH 将 会 读 取 package spec 的 内 容 ， 将 它 引用 


的 部 署 时 所 需 的 源 文件 递交 给 一 个 可 执行 的 二 进 制 文件 和 脚本 ， 即 为 package 脚 本 。package 脚 本 包含 一 些 拷贝 、 编 译 以 及 相关 规范 的 说 


明 。 比 如 ， 对 于 ardo_app 这 个 Ruby 的 APP，BOSH 需 要 拷贝 其 源 文件 安装 Ruby gems; 对 于 Ruby 而 言 ，BOSH 则 需要 将 其 源码 编译 成 二 进 制 文件 ; 如 果 是 一 个 Python APP，BOSH 将 需要 拷贝 其 源 文 件 并 
安装 python egg。BOSH 将 依照 package 脚 本 来 实现 正确 的 操作 。 


编写 package 脚 本 应 按照 以 下 几 个 准则 : 


@ 根 据 依赖 关系 图 来 决定 哪个 依赖 项 属于 哪个 package 脚 本 。 


@ 为 了 方便 编译 时 的 debug， 需 要 在 脚本 前 添加 “set-e-x”， 这 样 当 编 译 出 错时 会 立即 退出 。 
@@ 确 保 拷贝 、 安 装 和 编译 的 结果 都 放 在 目标 目录 中 。 


@BOSH 将 确保 spec 文 件 的 dependencies 块 中 引用 的 依赖 项 可 以 被 部 署 完成 的 二 进 制 文件 所 用 。 


当 package 脚 本 没有 将 编译 后 的 code 放 到 BOSH_INSTALL TARGET 里 面 时 ， 部 署 了 job 的 虚拟 机 将 不 知道 如 何 运行 该 ob， 这 就 导致 了 job 不 可 用 。 如 果 出 现 了 这 种 错误 ， 比 如 将 make 命 令 放 到 了 一 个 
缺 省 的 标准 位 置 而 不 是 我 们 期 望 的 BOSH_INSTALL TARGET 中 时 ， 可 以 通过 将 make 在 编译 的 时 候 指 定 到 BOSH_INSTALL TARGET 中 来 解决 。 


libyaml packing 脚 本 的 范例 如 下 : 


set -e -x 


tar xzf libyaml 0.1.4/yaml-0.1.4.tar.gz 
pushd yaml-0.1.4 
./configure --prefix-$ (BOSH INSTALL TARGET] 


make 
make install 


Ruby packing 脚 本 的 范例 如 下 : 


Set -g -x 


tar xzf ruby 1.9.3/ruby-1.9.3-p484.tar.gz 
pushd ruby-1.9.3-p484 
./configure \ 
--prefix-$(BOSH INSTALL TARGET} V 
--disable-install-doc V. 
--with-opt-dir-/var/vcap/packages/libyaml 0.1.4 
make 
make install 


popd 


tar zxvf ruby 1.9.3/rubygems-1.8.24.tgz 
pushd rubygems-1.8.24 

$(BOSH INSTALL TARGET)/bin/ruby setup.rb 
popd i i 


$(BOSH INSTALL TARGET)/bin/gem install ruby 1.9.3/bundler-1.2.1.gem --no-ri --no-rdoc 


ardo app packing 脚 本 的 范例 如 下 : 


SG 

cp -a ardo_app/* ${BOSH_INSTALL_ TARGET} 

cd S(BOSH INSTALL TARGET] 

/var/vcap/packages/ruby 1.9.3/bin/bundle install \ 
--local \ 


--deployment \ 
--without development test 


3) 更 新 job spec 中 的 依赖 项 


job spec 的 packages 块 中 需要 列 出 运行 时 依赖 关系 。 以 web_ui job 为 例 ， 它 依赖 于 ado_app 和 ruby_1.9.3: 


packages: 
- ardo app 
- ruby 1.9.3 


步骤 4: 添加 blobs 


当 创 建 release 的 时 候 ， 可 能 会 用 到 源 代码 的 repository。release 常 常会 用 到 tar 文 件 或 者 其 他 的 二 进 制 文件 ， 也 就 是 我 们 所 说 的 blobs。 如 果 将 其 提交 到 repository， 会 造成 一 些 麻烦 ， 这 样 读 写 将 会 造 
成 很 大 的 延迟 ， 特 别 是 当 处 理 很 大 的 二 进 制 文 件 时 。BOSH 有 两 种 方法 可 以 规避 这 个 问题 : 


1) 对 于 dev release: 可 使 用 本 地 的 blobs。 
2) 对 于 final release: 将 blobs 上 传 至 Blobstore 之 后 ， 告 诉 BOSH 从 Blobstore 中 获取 哪些 blob。 
- 配置 Blobstore 


在 config 目 录 中 ， 可 以 保存 Blobstore 的 配置 信息 。 


@final.yml 将 命令 Blobstore 并 声明 其 类 型 ， 该 类 型 可 以 是 local， 还 可 以 是 Blobstore 供 应 商 指定 的 其 他 类 型 。 


@ 在 private.yml 中 指定 Blobstore 的 路 径 以 及 密码 。 


private.yml 中 包含 访问 Blobstore 所 需 的 keys， 所 以 不 能 被 提交 到 git 的 repo 中 。config 目 录 中 还 包含 自动 生成 的 两 个 文件 blob.yml 和 dev.yml。 在 本 例 中 ， 我 们 采用 local 类 型 的 Blobstore。local 类 型 
适合 学 习 或 者 练习 ， 但 是 release 只 能 被 自己 所 用 ， 不 能 与 他 人 共用 。 所 以 如 果 需 要 跟 他 人 共用 一 个 release 的 话 ， 就 需要 配置 一 个 non-local 类 型 的 Blobstore。 用 户 一 开始 使 用 的 Bolobstore 将 在 创建 
release 的 过 程 中 贯彻 始终 ， 涵 盖 这 个 release 的 所 有 版 本 。 在 本 书 中 ， 我 们 暂时 不 会 介绍 如 何 修改 Blobstore 的 类 型 。 


final.yml 的 范例 如 下 : 


Blobstore: 
provider: local 
options: 
Blobstore path: /tmp/ardo-blobs 
final name: ardo Blobstore 


private.yml 的 范例 如 下 : 


Blobstore secret: 'does-not-matter' 
Blobstore: 
local: 
Blobstore path: /tmp/ardo-blobs 


当 用 户 的 release 中 包含 private.yml 文 件 时 ， 需 要 将 Blobstore_path 写 在 private.ml 中 。final.ml 中 也 可 以 写 入 Blobstore_path， 但 不 是 必须 的 。 这 样 ， 即 使 忽略 了 private.yml， 仍 可 以 在 其 他 系统 上 下 


载 并 使 用 这 个 release。 


注意 : 对 于 local 类 型 的 Blobstore,Blobstore_secret 是 必须 的 ， 即 使 实际 上 可 能 根本 不 需要 读 取 这 部 分 数据 ， 也 不 会 去 验证 其 内 容 的 正确 性 。 


“ 通知 BOSH blob 的 位 置 


在 package 的 spec 文 件 中 ，files 块 中 记录 了 下 载 的 所 有 的 二 进 制 文件 ， 还 有 其 下 载 地 址 的 URL。 这 部 分 内 容 即 为 blobs， 当 你 希望 将 这 些 blobs 下 载 到 本 地 时 ，BOSH 就 会 知道 从 哪里 下 载 。 


以 libyaml_0.1.4 包 为 例 : 


files: 
- libyaml 0.1.4/yaml-0.1.4.tar.gz # From http://pyyaml.org/download/libyaml/yaml-0.1.4.tar.gz 


下 载 后 的 blob 可 能 会 存放 在 ~/Downloads/yaml-0.1.4.tar.gz 中 。 


将 release 需 要 用 到 的 所 有 包 的 本 地 路 径 列 出 清单 ， 就 可 以 将 它们 上 传 到 Blobstore 中 了 。 针 对 每 一 个 blob， 都 需要 运行 下 面 的 命令 ， 这 样本 地 的 blob 就 变 成 了 BOSH blobs:bosh add 


blob<path_to_blob_on_local_system><package_name>, 
针对 这 条 命令 ， 详 细 的 工作 原理 是 : 


@ 第 一 个 参数 是 blobs 的 本 地 路 径 。 


@ 第 二 个 参数 是 用 户 的 release 的 目标 blobs 目 录 。 


@BOSH 进 入 blobs 目 录 并 为 每 个 blob 创 建 一 个 以 该 包 命名 的 子 目录 。 


@BOSH 会 在 每 个 子 目录 中 创建 一 个 指向 它 所 创建 的 隐藏 目录 的 符号 链接 。 


推荐 使 用 包 名 作为 第 二 个 参数 ， 这 样 我 们 就 可 以 清晰 地 看 到 整个 blob 目 录 结 构 。 当 你 上 传 final release 的 blob 时 ，BOSH 将 会 用 隐藏 目录 as staging area, 


' 不 要 给 dev release 上传 blob 的 功能 


当 你 上 传 blob 至 non-local 的 Blobstore 后 ， 这 些 blob 将 可 能 被 其 他 开发 者 引用 ， 之 后 再 想 删 除 的 话 就 会 很 麻烦 ， 所 以 在 创建 dev release 的 时 候 ， 不 要 运行 bosh upload blobs。 


步骤 5: 使 服务 可 配置 


如 果 要 求 服务 在 部 署 的 时 候 是 可 配置 的 ， 那 么 可 以 在 release 中 将 这 部 分 预 留 出 来 。 这 样 ， 每 个 输入 可 以 作为 指定 job 的 属性 。 实 现 该 功能 需要 三 个 步骤 : 


1) 在 job 的 spec 文 件 中 的 properties 块 中 定义 该 属性 ， 并 给 它们 赋 默 认 值 。 


2) 在 相关 的 模板 文件 中 使 用 p() 来 标注 这 些 属性 。 例 如 : 


<%= p('«job name».«property name»') %> 


3) 在 部 署 的 manifest 中 给 这 些 属性 附 上 正确 的 值 : 


properties: 
web ui.port: 
description: Port that web ui app listens on 
default: 80 


步骤 6: 创建 dev release 


完成 了 上 面 的 五 个 步骤 之 后 ， 就 可 以 创建 一 个 release 了 。 


在 创建 dev release 的 时 候 添加 --force 参 数 ， 可 以 指定 BOSH 使 用 本 地 的 blob。 如 果 没 有 加 上 这 个 参数 ， 就 需要 在 创建 release 之 前 上 传 blob， 由 于 我 们 只 会 为 final release 上 传 blob， 所 以 在 创建 dev 
release 时 添加 --force 参 数 是 必要 的 。 


BOSH 会 提示 用 户 输入 release 的 名 字 或 者 使 用 默认 的 名 字 ， 并 后 缀 一 个 带 小 数 点 的 子 版 本 号 。 


1) 部 署 dev release, 


部 署 dev release 需 要 的 步骤 取决 于 用 户 是 否 已 经 将 BOSH target 设 置 完成 并 将 选 定 使 用 哪个 release。 


bosh target <director url> 


查看 哪些 release 可 用 : 


bosh releases 


如 果 BOSH 已 经 确定 了 使 用 哪些 release， 此 时 需要 为 该 release 创 建 一 个 manifest。 


bosh upload release 
bosh deploy 


2) 测试 dev release。 


根据 release 里 面 都 包含 哪些 软件 来 决定 如 何 测试 该 release。 


bosh ssh 到 部 署 出 来 的 虚拟 机 上 ， 观 察 log 的 输出 ， 如 果 测 试 失败 的 话 ， 可 以 尝试 以 下 方法 : 
@ 修 正 代码 。 
@ 创 建 一 个 新 的 release。 


@ 重 新 运行 bosh deploy 再 次 部 署 ， 查 看 是 否 成 功 。 


使 用 bosh deploy--recreate 可 以 重新 创建 一 个 干净 的 deployment， 因 为 BOSH 将 重新 创建 所 有 的 VM。 
3) 创建 final release。 
以 上 的 六 个 步骤 全 都 成 功 完成 后 ， 就 可 以 创建 final release 了 。 


上传 blob 


创建 final release 的 前 提 是 需要 上 传 blob 到 Blobstore。 由 于 上 传 blob 是 不 可 逆 的 ， 所 以 一 定 要 避免 误 传 私有 的 文件 ， 应 严格 按照 以 下 步骤 来 完成 : 


@ 运 行 bosh blobs 来 检查 哪些 blob 需 要 上 传 。 
@ 重 复 检 查 该 列表 。 


@ 其 中 应 仅 包含 final release 所 需要 的 所 有 blob。 


@ 如 果 该 列表 中 包含 任何 不 能 被 上 传 的 文件 ， 应 找到 并 删除 任何 指向 它们 的 符号 链接 。 


然后 运行 bosh upload blobs 来 完成 blob 的 上 传 。 
BOSH 将 会 把 上 传 blob 的 元 数据 写 在 blob.yml 中 ， 此 时 应 该 提交 该 文件 。 
+ release 


运行 bosh create release--final，BOSH 将 提示 用 户 输入 release 的 名 字 ， 并 给 它们 分 配 一 个 整数 的 release 版 本 号 。 


此 时 就 可 以 将 所 有 的 代码 传输 到 共享 的 repo 中 ， 使 其 他 人 也 可 以 访问 你 的 release。 


+ Blobstore 


Blobstore 用 于 存放 director 上 传 的 release、 配 置 文件 、log 以 及 其 他 数据 。 缺 省 的 DAV 对 于 很 多 director 而 言 已 经 足够 ， 但 是 用 户 还 可 以 自行 添加 一 个 外 部 的 Blobstore， 以 保证 其 高 可 用 性 。 


默认 的 DAV Blobstore 的 配置 如 下 : 


@@ 添 加 Blobstore job 并 为 其 挂 载 persistent disk: 


jobs: 

- name: bosh 

templates: 

- (name: Blobstore, release: bosh} 

# http://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/OEBPS/Text/... 
persistent disk: 25 000 E 

# http://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/OEBPS/Text/... 
networks: 

- name: default 

static ips: [10.0.0.6] 


@ 配 置 Blobstore job， 保 证 其 可 以 被 agent 访 问 : 


properties: 
Blobstore: 
provider: dav 
address: 10.0.0.6 
port: 25250 
director: 
user: director 
password: DIRECTOR-PASSWORD 
agent: 
user: agent 
password: AGENT-PASSWORD 


上 述 配置 供 BOSH Director 和 agent 使 用 。 


-S3 


Director 和 agent 还 可 以 使 用 亚马逊 的 S3 作 为 其 Blobstore。 


@ 首 先 创建 一 个 S3 的 bucket。 


jobs: 

- name: bosh 

templates: 

- (name: Blobstore, release: bosh} 

# http://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/OEBPS/Text/... 
persistent disk: 25 000 

# http://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/OEBPS/Text/... 
networks: B 

- name: default 

static ips: [10.0.0.6] 


@ 修 改 manifest， 添 加 能 够 访问 到 该 bucket 的 access_key 和 secret_key: 


properties: 
Blobstore: 
provider: s3 


access key id: ACCESS-KEY-ID 
secret access key: SECRET-ACCESS-KEY 
bucket name: test-bosh-bucket 


BOSH Monitor 将 通过 Health Monitor、Agent 和 Mont 的 协作 创建 运行 Mont Job 的 虚拟 机 。 


Health Monitor 将 不 间断 地 监控 虚拟 机 的 即时 状态 ， 每 台 虚 拟 机 上 的 Agent 每 分 钟 会 产生 一 个 heartbeat (心跳 ) ， 并 通过 NATS 发 送 给 Health Monitor。 实 际 上 ，Health Monitor 是 一 系列 plugin 的 
集合 ， 每 个 plugin 都 有 可 能 制造 heartbeat， 这 样 一 旦 失败 ， 就 会 通知 外 部 的 service 或 者 向 Direcor 发 出 某 些 动作 。 


Health Monitor 包 括 以 下 揪 件 : 
“ event logger: 在 文件 中 记录 log 事 件 。 
“ resurrector: 重建 那些 不 再 发 出 heartbeat 的 虚拟 机 。 
‘emailer: 发 送 可 配置 的 email。 
* opentsdb: 给 opentsdb 发 送 事 件 。 
* graphite: 给 graphite 发 送 事件 。 
“ pagerduty: 通过 pagerduty 的 API 向 其 发 送 事件 。 
+ datadog: 通过 datadog 的 API 向 其 发 送 事件 。 
* AWS cloudwatch: 通过 cloudwatch 的 API 向 其 发 送 事件 。 


(1) 复活 器 插件 


resurrector plugin 持 续 监 控 虚 拟 机 上 的 心跳 信息 。 一 旦 它 在 某 一 时 间 周 期 内 收 不 到 来 自 某 台 虚拟 机 的 心跳 信息 ， 那 么 它 将 会 创建 一 个 director 的 task 来 重新 创建 一 个 相同 的 虚拟 机 。 


(2) 虚拟 机 上 的 进程 


在 monit 的 帮助 下 ，release 的 job 进程 将 监控 每 台 虚 拟 机 的 状态 。monit 将 监控 指定 的 job 的 运行 状态 ， 在 必要 的 时 候 重启 这 个 进程 。 出 现 进程 被 重启 或 者 失败 等 事件 时 ， 都 会 发 送 给 agent 并 最 终 提交 
Health Monitor。 


(3) SSH EVENTS 


当 有 人 或 者 程序 试图 ssh 到 虚拟 机 上 的 时 候 ， 不 管 成 功 与 否 ， 虚 拟 机 上 的 agent 将 发 送 警告 给 Health Monitor, 


(4) BESEVENTS 
Director 也 将 记录 deployment task 的 状态 ， 如 开始 、 完 成 或 者 出 错 。 


虚拟 机 上 的 agent 负 责 管理 每 一 个 job 的 生命 周期 ， 启 动 、 监 控 、 重 启 以 及 停止 job 的 进程 ， 这 些 动作 都 是 在 Monit 的 协作 下 完成 的 。agent 通 过 Monit HTTP API 与 monit deamon 进 行 通信 ， 以 实现 添 
加 、 删 除 、 启 动 、 停 止 、 监 控 以 及 停止 监控 job 进程 。 


(5) 检查 状态 


运行 bosh instances 可 以 查看 deployment 中 每 一 个 运行 job 的 虚拟 机 的 状态 信息 : 


$ bosh instances 


Deployment "my-deployment' 


Director task 10326 
Task 10326 done 


征 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 
| Instance | State | Resource Pool | IPs | 
二 一 一 一 一 一 一 一 一 一 十 一 一 一 一 上 
| redis-master/8 | running | redis-servers | 10.10.30.71 | 
| redis-slave/@ | running | redis-servers | 10.10.30.72 | 
| redis-slave/1 | failing | redis-servers | 10.10.30.73 | 
十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 上 


此 时 你 可 能 会 看 到 三 种 状态 : 


running: 代 表 虚 拟 机 上 的 job 此 刻 都 运行 正常 ，Director 从 agent 上 接收 到 聚合 状态 为 成 功 。 
+ failing: 此 刻 不 是 所 有 的 job 进 程 都 在 健康 地 运行 (启动 失败 或 者 启动 后 又 退出 ) ，Director 从 agent 上 接收 到 聚合 状态 为 不 成 功 。 
‘unresponsive (无 应 答 ) : Director 收 不 到 来 自 于 agent 的 消息 。 
(6) 使 用 虚拟 机 上 的 MONIT 命 令 
在 BOSH 管 控 的 虚拟 机 上 ， 可 使 用 monit cli 来 得 到 部 署 在 其 上 的 job 的 状态 信息 ， 想 要 运行 此 命令 ， 首 先 要 切换 到 root 用 户 ， 然 后 进入 /var/vcap 中 方 能 运行 。 每 一 个 job 在 虚拟 机 上 都 有 一 个 属于 自己 的 


目录 ， 通 常 位 置 为 /var/vcap/jobs/; 而 每 一 个 job 也 都 有 一 个 monit 文 件 ， 放 在 /var/vcapyVjobs/JOB_NAME/ 之 下 ，monit 文 件 中 描述 了 哪个 进程 属于 当前 的 job， 一 般 情况 下 ， 一 个 job 只 会 启动 一 个 进程 。 
运行 monit summary 你 将 看 到 类 似 下 面 的 结果 : 


$ monit summary 
The Monit daemon 5.2.4 uptime: 1d 22h 7m 


Process ‘nats’ running 
Process 'redis' running 
Process 'postgres' running 
Process ‘powerdns' running 
Process 'blobstore nginx' running 
Process 'director' running 
Process 'worker 1' running 
Process 'worker 2' running 
Process 'worker 3' running 
Process 'director scheduler' running 
Process 'director nginx' running 
Process 'registry' running 
Process 'health monitor' running 
System 'system bm-24638eb6—55b9—4670—-bb1a-23c9e3177d91' running 


还 可 以 通过 运行 monit status 查 看 关于 进程 的 详细 信息 : 


$ monit status 


The Monit daemon 5.2.4 uptime: id 22h 8m 


Process ‘nats’ 
status running 
monitoring status monitored 
pid 2951 
parent pid 1 
uptime 1d 22h 8m 
children 0 
memory kilobytes 24420 
memory kilobytes total 24420 
memory percent 0.6% 
memory percent total 0.6% 
cpu percent 0.0% 
cpu percent total 0.0% 
data collected Thu Dec 4 22:44:36 2014 


使 用 monit stop<process-name> 以 及 monit start<process_name> 来 停止 和 启动 进程 ， 有 的 时 候 对 于 debug 很 有 帮助 。 


1. 手 动 运行 bosh cck 


bosh 提 供 了 一 个 云 检查 命令 来 帮助 修复 1aaS 的 资源 。 在 常规 的 BOSH 使 用 过 程 中 ， 该 命令 并 不 常用 ， 但 是 一 旦 laas 操 作 失败 或 者 不 能 通过 director 自 动 解决 一 些 问题 时 ， 手 动 实施 bosh cck 可 能 会 有 很 


大 的 帮助 。 


当 虚 拟 机 上 的 agent 不 响应 或 者 在 laaS 上 找 不 到 虚拟 机 时 ， 重 建 机 制 可 以 恢复 该 虚拟 机 。 


手动 地 运行 bosh cck 也 可 以 实现 恢复 ， 并 且 还 可 以 检查 job 实例 的 persistent disk 以 及 其 他 附件 (attachement) 的 状态 。 要 运行 bosh cck, 首 先 要 使 用 bosh deployment<manifest> 将 manifest 指 定 


到 想 要 检查 的 deployment 的 manifest 上 。 


$ bosh cck 


Performing cloud check... 


Processing deployment manifest 


Director task 622 


Started 
Started 
Started 

Done 


Started 
Started 
Started 

Done 


scanning 
scanning 
scanning 
scanning 


scanning 
scanning 
scanning 
scanning 


Task 622 done 


Started 
Finished 
Duration 


vms 
vms > Checking VM states. Done (00:00:00) 

vms > 1 OK, @ unresponsive, ® missing, ® unbound, @ out of sync. Done (00:00:00) 
vms (00:00:00) 


persistent disks 

persistent disks > Looking for inactive disks. Done (00:00:00) 

persistent disks > @ OK, ® missing, 8 inactive, © mount-info mismatch. Done (00:00:00) 
persistent disks (00:00:00) 


2015-01-89 23:29:34 UTC 
2015-01-09 23:29:34 UTC 


Scan is complete, checking if any problems found... 
No problems found 


可 能 出 现 的 错误 有 如 下 几 种 : 


(1) 虚拟 机 缺失 


如 果 使 用 bosh cck 检 查 出 的 错误 是 虚拟 机 不 存在 ， 类 似 下 面 的 错误 : 


$ bosh cck 


Performing cloud check... 


Processing deployment manifest 


Director task 623 
Started scanning 1 vms 
Started scanning 1 vms > Checking VM states. Done (00:00:10) 
Started scanning 1 vms > 8 OK, ® unresponsive, 1 missing, ® unbound, @ out of sync. Done (00:00:00) 
Done scanning 1 vms (00:00:10) 


Started scanning 8 persistent disks 

Started scanning 8 persistent disks > Looking for inactive disks. Done (00:00:00) 

Started scanning 8 persistent disks > @ OK, 0 missing, 8 inactive, @ mount-info mismatch. Done (00:00:00) 
Done scanning © persistent disks (00:00:00) 


Task 623 done 


Started 2015-01-09 23:32:45 UTC 
Finished 2015-01-09 23:32:56 UTC 
Duration 00:00:11 


Scan is complete, checking if any problems found... 
Found 1 problem 


Problem 1 of 1: VM with cloud ID `i-914c046a' missing. 
1. Skip for now 
2. Recreate VM 
3. Delete VM reference 

Please choose a resolution [1 - 3]: 3 


Below is the List of resolutions you've provided 
Please make sure everything is fine and confirm your changes 


1. VM with cloud ID ^i-914c046a' missing. 
Delete VM reference 


Apply resolutions? (type 'yes' to continue): yes 
Applying resolutions... 


Director task 624 
Started applying problem resolutions > missing vm 168: Delete VM reference. Done (00:00:00) 


Task 624 done 


Started 2015-01-09 23:33:28 UTC 
Finished 2015-01-09 23:33:20 UTC 
Duration 00:00:00 

Cloudcheck is finished 


此 时 可 以 根据 实际 情况 选择 下 面 的 操作 : 

1) skip for now: director 将 不 做 任何 动作 ， 不 解决 这 个 问题 。 

2) create VM: director 将 会 使 用 指定 的 manifest 重 新 创建 一 个 部 署 了 该 job 的 虚拟 机 ， 并 启动 job。 需 要 注意 的 是 ，director 不 会 等 到 所 有 job 都 启动 之 后 才 返 回 。 
3) delete VM: 删除 出 错 的 虚拟 机 ， 当 下 次 运行 bosh cck 时 将 不 会 再 报错 。 

(2) 虚拟 机 无 响应 


若 得 到 的 状态 是 某 个 虚拟 机 无 法 响应 : 


$ bosh ves simple-deployment —details 
Deployment '"simpie-deployment' 
Director task 630 


Task 636 done 


$e a a pe 
| Job/index | State | Resource Pool | IPs | CID | Agent ID | Resurrection | 


cc cS cc a M 
| unknown/unknown | unresponsive agent | 1 | i-1db9ede6 | 59830081-d63d-4c1b-80be-011868148787 | active | 


fe ee ee ee re ee ee ee ee ee et 


Ws total: 1 


运行 bosh deploy 时 也 会 在 binding existing deployment 阶 段 退 出 ， 因 为 它 收 不 到 来 自 于 agent 的 应 答 : 


$ bosh deploy 
+«Snip... 
Deploying 
Deployment name: "'tiny-dummy.yml' 
Director name: "micro-idora' 
Are you sure you want to deploy? (type 'yes' to continue): yes 
Director task 631 
Started preparing deployment 
Started preparing deployment » Binding deployment. Done (00:00:00) 
Started preparing deployment > Binding releases. Done (00:00:00) 
Started preparing deployment > Binding existing deployment. Failed: Timed out sending ‘get_state' to 59a30081-d63d-4c1b-80be-01fa68 
45 seconds (00:02:15) 
Error 450002: Timed out sending "get state' to 59830081-d63d-4c1b-80be-01fa681d8787 after 45 seconds 
Task 631 error 


For a more detailed error report, run: bosh task 631 —debug 
$ bosh cck 


Performing cloud check... 


Processing deployment manifest 


Director task 640 
Started scanning 1 vms 
Started scanning 1 vms > Checking VM states. Done (00:00:10) 
Started scanning 1 vms > 8 OK, 1 unresponsive, 0 missing, @ unbound, @ out of sync. Done (00:00:00) 
Done scanning 1 vms (00:00:10) 


Started scanning @ persistent disks 

Started scanning @ persistent disks > Looking for inactive disks. Done (00:00:00) 

Started scanning 8 persistent disks > @ OK, @ missing, ® inactive, © mount-info mismatch. Done (00:00:00) 
Done scanning @ persistent disks (00:00:00) 


Task 640 done 


Started 2015-01-09 23:33:45 UTC 
Finished 2015-01-09 23:33:55 UTC 
Duration 00:00:10 


Scan is complete, checking if any problems found... 
Found 1 problem 


Problem 1 of 1: dummy/@ (i-914c@46a) is not responding. 

Skip for now 

Reboot VM 

Recreate VM 

Delete VM reference (forceful; may need to manually delete VM from the Cloud to avoid IP conflicts) 
Please choose a resolution [1 - 4]: 4 


Below is the list of resolutions you've provided 
Please make sure everything is fine and confirm your changes 


1. dummy/@ (i-914c@46a) is not responding. 
Delete VM reference (forceful; may need to manually delete VM from the Cloud to avoid IP conflicts) 


Apply resolutions? (type 'yes' to continue): yes 
Applying resolutions... 


Director task 641 
Started applying problem resolutions > unresponsive_agent 168: Delete VM reference (...). Done (00:00:05) 


Task 641 done 
Started 2015-01-89 23:35:20 UTC 
Finished 2015-01-09 23:35:25 UTC 


Duration 00:00:05 
Cloudcheck is finished 


此 时 运行 bosh cck 除 了 会 得 到 上 面相 同 的 三 个 选项 之 外 ， 还 会 得 到 reboot VM 选项 ，Director 将 会 重启 该 虚拟 机 。 


(3) persistent disk 未 挂 载 


$ bosh cck 
Performing cloud check... 


Processing deployment manifest 


Director task 656 
Started scanning 1 vms 
Started scanning 1 vms > Checking VM states. Done (00:00:00) 
Started scanning 1 vms > 1 0K，6 unresponsive, ® missing, 8 unbound, @ out of sync. Done (00:00:00) 
Done scanning 1 vms (00:00:00) 


Started scanning 1 persistent disks 

Started scanning 1 persistent disks > Looking for inactive disks. Done (00:00:00) 

Started scanning 1 persistent disks > @ OK, 0 missing, 0 inactive, 1 mount—info mismatch. Done (00:00:00) 
Done scanning 1 persistent disks (00:00:00) 


Task 656 done 


Started 2015-01-13 22:04:56 UTC 
Finished 2015-01-13 22:04:56 UTC 
Duration 00:00:00 


Scan is complete, checking if any problems found... 
Found 1 problem 


Problem 1 of 1: Inconsistent mount information: 
Record shows that disk 'vol-549f071f' should be mounted on i-4fcd99b4. 
However it is currently : 
Not mounted in any VM. 
1. Skip for now 
2. Reattach disk to instance 
3. Reattach disk and reboot instance 
Please choose a resolution [1 - 3]: 2 


Below is the list of resolutions you've provided 
Please make sure everything is fine and confirm your changes 


1. Inconsistent mount information: 
Record shows that disk 'vol-549f071f' should be mounted on i-—4fcd99b4. 
However it is currently : 
Not mounted in any VM 
Reattach disk to instance 


Apply resolutions? (type ‘yes’ to continue): yes 
Applying resolutions... 


Director task 657 
Started applying problem resolutions > mount info mismatch 23: Reattach disk to instance. Done (00:00:22) 


Task 657 done 


Started 2015-01-13 22:05:19 UTC 
Finished 2015-01-13 22:05:41 UTC 
Duration @0:00:22 
Cloudcheck is finished 
运行 bosh cck 将 会 得 到 以 下 三 个 选项 : 
1) skip for now: director 将 不 做 任何 动作 ， 不 解决 这 个 问题 。 
2) reattach disk to instance: 将 会 重新 挂 载 persistent disk 到 /var/vcap/store 上 。 
3) reattach disk and reboot instance: 除了 重新 挂 载 persistent disk 之 外 还 会 重启 虚拟 机 ， 以 保证 agent 在 启动 job 前 persistent disk 被 安全 挂 载 ， 保 障 数据 安全 性 。 
(4) persistent disk 缺 失 
当 persistent disk 被 移 除 时 ，CPI 将 会 检测 disk 是 否 已 经 不 复 存 在 。 如 果 存 在 的 话 将 会 返回 persistent disk is not attached 错 误 ， 用 户 可 决定 做 何 种 操作 ; 否则 这 些 persistent disk 将 再 也 找 不 回来 。 


Resurrector 是 Health Monitor 的 一 个 插件 ， 它 的 职责 是 重新 创建 不 可 访问 的 虚拟 机 。Resurrector 通 过 检测 虚拟 机 是 否 发 送 heartbeat (心跳 ) 信息 来 判断 其 是 否 还 在 正常 运行 ， 一 旦 在 一 段 时 间 内 它 
没收 到 心跳 信息 ， 就 会 在 director 上 启动 “复活 ”的 任务 ， 此 时 director 将 做 如 下 两 件 事 中 的 一 件 : 


1) 如 果 旧 的 虚拟 机 在 laaS 上 已 经 不 存在 ， 就 重新 创建 一 个 虚拟 机 。 
2) 如 果 旧 的 虚拟 机 处 于 无 应 答 状 态 ， 则 茶 换 掉 这 个 虚拟 机 。 


在 这 种 情况 下 ， 复 活 器 将 认为 目前 系统 处 于 崩溃 状态 ， 不 再 发 送 请 求 给 director。 一 旦 虚拟 机 的 状态 发 生变 化 ， 那 么 复活 器 将 重新 开始 提交 扫描 任务 。 


使 用 bosh vm resurrection 命 令 可 以 关闭 复活 机 制 。 


2. 复 活 机 制 


打开 复活 机 制 的 方法 如 下 : 


1) 在 manifest 中 Health Monitor 的 属性 下 写 入 下 面 的 代码 : 


properties: 
hm: 


resurrector enabled: true 


2) 配置 下 面 的 一 些 属性 : 


- minimum_down_jobs[ 整 型 ， 可 选 ]: 在 一 个 时 间 段 T 内 ， 如 果 一 个 deployment 里 宕 机 的 实例 数量 小 于 这 个 数量 ， 复 活 器 将 请 求 修复 ， 其 优先 级 高 于 percent_threshold 的 设置 ， 缺 省 值 为 5。 


+ percent_threshold[/# 4&2, Tit]: 在 一 个 时 间 段 T 内 ， 如 果 deployment 中 的 宕 机 实例 占 总 的 实例 数 的 百分比 大 于 这 个 数值 ， 那 么 将 请 求 修 复 ， 缺 省 值 为 0.2， 即 为 20%。 


+ time_threshold[ 整 型 ， 可 选 ]: 以 秒 为 单位 ， 确 定 上 面 提 到 的 时 间 段 T， 缺 省 值 为 600。 


properties: 
hm: 


resurrector enabled: true 
resurrector: 
minimum down jobs: 5 
percent threshold: 0.2 
time threshold: 600 


3) 根据 选择 的 director management 配 置 方式 ， 可 以 通过 配置 director 的 user 和 password 属 性 或 者 使 用 client 属 性 来 进行 UAA 认 证 。 


(1) 使 


UAA user 来 管理 


@ 在 manifest 中 定义 uaa.client 属 性 : 


properties: 
uaa: 
clients: 
hm: 


override: true 

authorized-grant-types: client_credentials 
scope: "" 

authorities: bosh.admin 

secret: "hm-password" 


@ 配 置 Health Monitor， 使 其 使 用 uaa.client 属 性 中 给 定 的 密码 信息 来 完成 Director 的 认证 : 


properties: 
hm: 


director_account: 
client_id: hm 
client secret: "hm-password" 


(2) 使 用 预定 义 的 

创建 一 个 新 的 Director 用 户 ， 这 样 resurrector 插 件 就 可 以 与 其 通信 ， 以 便 查询 /提交 deployment 的 状态 信息 。 
properties: 

director: 


user management: 
provider: local 
local: 
users: 
- (name: admin, password: admin-password) 
- (name: hm, password: hm-password) 


在 Health Monitor 的 属性 中 加 入 Director 的 


名 和 密码 ， 这 样 Health Monitor 就 可 以 知道 与 哪个 用 户 通信 了 : 


properties: 
hm: 


director_account: 
user: 
password: hm-password 


(3) 定制 deployment 


对 于 大 部 分 deployment 而 言 ， 很 多 配置 都 可 以 使 


(4) 超 小 规模 的 deployment 


默认 值 来 定义 。 但 是 如 果 你 所 需要 的 deployment 特 别 小 或 者 特别 大 的 时 候 ， 某 些 默 认 值 就 不 再 适 


于 这 个 deployment， 此 时 需要 对 其 进行 更 改 。 


如 果 deployment 中 仅 需 要 五 台 虚 拟 机 ， 那 么 复活 机 制 会 在 所 有 的 实例 都 宕 机 之 后 才 会 重新 创建 它们 ， 此 时 我 们 需要 将 minimum_down_jobs 的 值 降 为 1 或 2。 


(5) 超大 规模 的 deployment 


如 果 你 的 deployment 有 1000 人 台 虚 拟 机 ， 在 仅 设 定 了 percent_ threshold， 且 使 
percent _ threshold 设置 为 5% 或 者 更 低 。 


(6) 关闭 复活 机 制 


1) 可 以 通过 修改 manifest 中 Health Monitor 的 属性 实现 复活 机 制 的 关闭 : 


其 默认 值 0.2, 那 么 复活 机 制 要 在 宕 机 数量 大 到 200 时 才 会 重新 创建 实例 ， 这 肯定 已 经 是 灾难 性 故障 ， 此 时 应 该 将 


properties: 
hm: 


resurrector enabled: false 


2) 重新 部 署 。 


3) 需要 的 话 还 可 以 删 掉 为 Health Monitor 创 建 的 directon 


(7) 观察 复活 器 的 行为 


扫描 和 修正 是 一 项 常规 的 director 任 务 ， 可 以 使 用 BOSH tas 


(8) disk (磁盘 ) 快照 


s--no-filter 来 查看 正在 运行 的 或 者 正在 排队 的 复活 器 的 行为 ;使 用 BOSH tasks recent--no-filter 来 查看 已 经 完成 的 复活 器 的 行为 。 


磁盘 快照 是 建立 快照 时 persistent disk 的 一 个 浅 / 深 拷贝 ， 它 是 使 用 laas 的 快照 功能 由 CPI 实 现 来 复制 磁盘 的 。 


在 进行 大 的 改动 之 前 最 好 为 persistent disk 创 建 一 个 快照 ， 如 果 这 个 改动 对 persistent disk 产 生 了 不 良 影响 ， 就 可 以 使 用 快照 恢复 改动 之 前 的 数据 。 目 前 BOSH 客 户 端 并 没有 提供 恢复 快照 功能 ， 所 以 需 


使 用 laas 的 这 一 功能 。 


3. 打 开 快 照 功能 


鉴于 某 些 laaS 可 能 不 提供 快照 功能 ， 所 以 快照 功能 默认 是 关闭 的 。 若 你 使 用 的 laaS 支 持 快照 ， 则 需要 在 manifest 中 打开 这 个 功能 。 


1) 在 Director 的 属性 中 添加 下 列 值 : 


Properties: 
director: 
enable_snapshots: true 


2) 运行 bosh deploy 来 更 新 deployment。 


(1) 手动 创建 快照 


当 快 照 功能 打开 后 ， 需 要 时 就 可 以 使 用 下 面 的 命令 来 创建 快照 。 需 要 注意 的 是 ， 在 创建 快照 的 过 程 中 ，Director 将 不 会 暂停 任何 进程 或 者 缓冲 数据 ， 而 且 有 些 laas 不 会 完全 拷贝 所 有 数据 。 


运行 bosh snapshots 可 以 列 出 所 有 的 CID 信 息 ， 包 括 job 名 字 、CID、 创 建 快 照 的 日 期 等 。 根 据 需要 选择 你 想 要 备份 的 CID。 


$ bosh snapshots 


为 指定 的 job 创建 快照 ， 如 果 没 有 指定 job, 将 会 为 当前 的 deployment 中 的 所 有 虚拟 机 创建 快照。 


$ bosh take snapshot [JOB] [INDEX] 


删除 SNAPSHOT-CI 指 定 的 快照 。 


$ bosh delete snapshot SNAPSHOT-CID 


(2) 删除 所 有 快照 


$ bosh delete snapshots 
JOB UPDATE SNAPSHOTS 


当 在 Director 中 指定 了 快照 功能 ， 更 新 job 时 ，Director 将 自动 地 为 其 persistent disk 创 建 快 照 ， 并 且 会 等 到 job 停止 或 者 耗 尽 时 候 再 创建 快照 。 


(3) 周期 性 的 快照 


Director 可 以 每 隔 一 段 时 间 为 deployment 中 的 虚拟 机 创建 快照 ， 只 需 在 manifest 中 完成 以 下 修改 : 


为 director 创 建 周 期 性 的 快照 任务 设置 ， 以 备份 其 上 运行 的 虚拟 机 的 persistent disk: 


1) 添加 几 个 snapshot_schedule 关 键 字 到 manifest 的 Director 块 中 。 


2) 根据 需要 为 snapshot schedule 设置 值 ， 使 其 间隔 一 段 时 间 运 行 一 次 : 


properties: 
director: 
enable_snapshots: true 
snapshot schedule: 0 0 7 * * * UTC 


3) 重新 部 署 。 


为 Director 虚 拟 机 本 身 创建 周期 性 的 快照 设置 ， 以 备份 它 自己 的 persistent disk， 方 法 如 下 : 


@ 在 manifest 中 添加 self snapshot schedule 关键 字 到 Director 块 中 。 


@ 为 self snapshot schedule 添加 cronjob 格 式 的 值 : 


properties: 
director: 
enable snapshots: true 
self snapshot schedule: 0 0 6 * * * UTC 


5.3 BOSH 故 障 排除 


1.bosh ssh 


bosh ssh 命 令 可 以 使 


ssh 方 式 登录 到 运行 的 某 个 job 的 虚拟 机 。 使 用 bosh ssh 登 录 ， 需 要 该 job 的 名 称 和 索引 ， 使 用 bosh vms 可 显示 正在 运行 的 虚拟 机 的 列表 以 及 每 个 虚拟 机 上 的 job， 这 样 可 以 直接 
登录 到 指定 的 虚拟 机 上 ; 也 可 以 只 运行 bosh ssh 命 令 ， 此 时 bosh 将 会 列 出 该 deployment 的 所 有 虚拟 机 ， 可 通过 索引 选择 。 
2.bosh logs 


对 bosh 或 bosh deployment 进 行 故障 排除 时 ， 需 要 阅读 


志文 件 以 便 可 以 缩小 问题 范 | 
(1) 可 通过 bosh task<task_number> 查 看 的 BOSH Derictor 


和 目 。 有 以 下 三 种 类 型 的 


这 些 日 志 包含 BOSH 控 制 器 上 运行 BOSH 命 令 时 产 4 
记录 了 出 错位 置 的 日 志 。 


的 输出 。 如 果 在 运行 BOSH 命 令 时 出 现 问题 ， 则 应 该 先 从 这 些 


志 着 手 排查 。 例 如 ， 如 果 运 行 bosh deploy, 
访问 这 些 日 志 ， 通 过 运行 bosh tasks recent 找 到 失败 的 命令 的 任务 编号 ， 然 后 运行 bosh task<task_number> 。 控 制 器 的 
(2) 可 在 /var/vcap/bosh/log 中 找到 或 通过 bosh logs 查 看 代理 的 日 志 。 


此 命令 失败 ， 那 么 BOSH 控 制 器 将 有 
志 记 录 程 序 会 将 相关 信息 写 入 到 这 些 日 志 中 。 
这 些 日 志 包含 代理 产生 的 输出 。 当 怀疑 虚拟 机 设置 存在 问题 时 ， 这 些 日 志 便 很 有 用 。 它 们 将 显示 代理 的 操作 ， 如 设置 网 络 、 磁 盘 和 运行 ob。 如 果 bosh deploy 因 其 
使 用 BOSH 控 制 器 日 志 才能 查 出 是 哪个 虚拟 机 。 
(3) 服务 日 志 


中 一 个 虚拟 机 4 


这 些 日 志 由 虚拟 机 上 运行 的 实际 job 产 生 ， 可 能 是 由 Redis、Web 服 务 器 等 7 


的 日 志 。 这 些 
release/jobs/<job_name>/templates/<config file> 中 的 配置 文件 中 定义 。 对 了 


志 间 会 有 差别 ， 因 


为 它们 输出 到 的 位 置 由 deployment manifest 来 配置 。 通 常 ， 
3.bosh cloudcheck (cck) 


FCloud Foundry， 我 们 的 job 通常 配置 为 记录 到 /varvcap/sys/log/<job_name>/<job_name>.log。 


体 的 输出 路 径 在 


bosh cloudcheck (cck) 是 一 项 BOSH 命 令 行 实用 程序 ， 可 自动 检查 已 经 部 署 的 虚拟 机 和 job 中 是 否 存在 问题 。 它 会 检查 是 否 存在 虚拟 机 不 响应 /不 同步 
cck， 如 果 发 现 了 任何 问题 ， 它 会 提示 用 户 需 采 取 哪 些 操作 。 


、 磁 盘 未 绑 定 等 情况 。 要 使 
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有 人 认为 BOSH 太 过 于 复杂 ， 这 种 观点 可 能 是 


由 


à: 
的 元 数据 信息 ， 可 以 跟踪 每 次 部 署 的 变化 ， 最 小 化 地 执行 增 量 升级 ， 收 集 和 发 送 
品 在 共享 的 laaS 环 境 下 的 持续 发 布 。 


EF 富 的 度量 数据 ， 帮 助 监控 整个 集群 的 状态 。 同 时 ， 它 也 是 高 可 


于 没有 完整 地 查看 BOSH 的 功能 和 定位 而 造成 的 ，BOSH 不 仅仅 是 一 个 部 署 产品 ， 也 是 一 个 对 整个 分 布 式 系统 进行 全 生命 周期 管理 的 产品 。 它 保存 了 大 量 


和 可 伸缩 的 ， 设 计 


来 支撑 整个 企业 的 多 个 部 门 、 多 个 产 
性 能 。BOSH 将 产品 、 设 置 和 部 署 环境 严格 


BOSH 的 设计 也 融合 了 许多 应 用 发 布 和 运 维 管理 的 经 验 ， 对 于 模块 之 间 、 服 务 之 间 的 依赖 关系 都 描述 


得 很 清楚 ， 在 部 署 和 升级 时 对 于 顺序 、 并 发 的 控制 也 很 巧妙 ， 既 可 以 满足 产品 需求 ， 又 保证 很 好 的 
区 分 ， 这 样 用 户 在 一 个 环境 下 的 部 署 信 息 和 经 验 可 以 很 方便 地 直接 使 用 到 其 他 环境 。BOSH 最 大 化 了 部 署 和 管理 的 
的 工作 量 ， 让 一 两 个 工程 师 管理 运 维 成 百 上 干 个 虚拟 机 成 为 可 能 ,而且 很 轻松 。 很 多 喜爱 BOSH 的 用 户 会 认为 BOSH 
除了 Cloud Foundry 之 外 ， 越 来 越 多 的 产品 也 发 布 了 可 以 通过 BOSH 部 署 和 管理 的 BOSH release， 例 


动 化 ， 最 小 化 了 用 户 的 干预 和 部 署 运 维 工 程 师 
的 视野 非常 宽广 ， 是 一 个 值得 关注 和 大 力 推广 的 优秀 产品 。 


如 Logsearch、Redis、Docker Registry、OpenVPN、JMeter 等 。 


第 6 章 Cloud Foundry 的 部 署 规划 


在 IT 系统 部 署 (Deployment) 流程 中 ， 部 署 的 设计 、 规 划 是 一 个 
标 是 在 一 定 的 成 本 范 


要 过 程 。 在 这 个 过 程 中 ，IT 工 程 师 需要 仔细 分 析 系统 当前 的 需求 和 变化 趋势 ， 并 且 根 据 系统 需求 进行 详细 的 设计 规划 。 设 计 规 划 的 目 
围 内 满足 当前 和 将 来 可 以 预见 的 需求 ， 使 IT 系统 可 以 较 好 地 适应 业务 的 变化 。 
传统 的 IT 系统 部 署 一 般 包 括 硬件 采购 、 硬 件 部 署 、 系 统 部 署 、 应 用 部 署 等 过 程 ， 因 此 系统 的 部 署 是 一 个 烦琐 而 且 漫 长 的 过 程 。 
随 着 虚拟 化 技术 和 云 计算 技术 的 发 展 和 广泛 应 


， 越 来 越 多 的 企业 开始 把 硬件 采购 、 硬 件 部 署 和 系统 部 署 等 流程 转变 为 采 
统 的 设计 和 规划 也 需要 适应 云 平台 的 需求 。Cloud Foundry 作 为 一 个 通 


的 PaaS， 在 系统 部 署 前 


虚拟 化 技术 和 云 服务 ， 从 
Cloud Foundry 的 部 署 设 计 规划 一 


般 包 括 容量 规划 、 网 络 设计 和 安全 设计 三 个 部 分 ， 本 章 后 


而 简化 部 署 流程 并 提高 部 署 速度 。 与 此 同时 ，|IT 系 
仍然 需要 进行 详细 的 规划 设计 ， 但 是 其 部 署 的 设计 规划 过 程 与 传统 IT 系统 的 设计 规划 过 程 有 较 大 的 不 同 。 
面 各 节 将 详细 介绍 这 三 个 部 分 。 


6.1 ”容量 规划 


6.1.1 ”容量 规划 的 概念 和 目标 


IT 系统 的 容量 是 指 IT 系统 上 可 同时 在 线 的 最 大 用 户 数 、 信 息 存储 和 处 理 的 最 大 能 力 、 通 信 系 统 的 最 大 传输 速度 ， 以 及 各 种 接 


口 的 信息 采集 和 输出 的 最 大 吞吐 量 等 。 

在 传统 IT 系统 的 规划 和 部 署 中 ， 容 量规 划 是 容量 管理 (Capacity Management) 的 一 个 重要 的 步骤 。 传 统 的 IT 系统 由 于 部 署 和 升级 代价 较 大 ， 因 此 IT 工程 师 在 系统 部 署 之 前 ， 一 般 需 要 对 系统 的 容量 进 
行 详细 的 规划 ， 即 分 析 和 设计 。 在 容量 规划 过 程 中 ， 不 仅 需 要 满足 当前 的 业务 需求 ， 还 要 根据 数据 分 析 计 算出 需求 的 增长 趋势 ， 然 后 测算 出 可 以 预见 的 系统 未 来 的 容量 需求 ， 以 及 满足 这 些 需求 所 需 的 成 
本 。 简 言 之 ， 容 量规 划 的 目标 是 以 可 接受 的 成 本 确保 IT 系统 的 容量 能 够 满足 当前 和 将 来 业务 的 需要 。 

传统 的 IT 系统 部 署 过 程 笨 拙 、 繁 琐 ， 而 且 代价 较 大 。 云 计算 技术 在 IT 业务 系统 和 承载 其 运行 的 硬件 系统 之 间 加 入 了 一 个 中 间 

系统 增加 或 者 减少 资源 ， 以 达到 增加 或 者 减少 系统 容量 的 目的 。 


层 ， 并 且 通 过 硬件 虚拟 化 的 技术 将 系统 资源 池 化 ， 使 用 户 可 以 非常 方便 地 为 IT 
因此 ， 虚 拟 化 和 云 计算 技术 可 以 减 小 系统 部 署 和 升级 的 代价 。 


出 现 问题 而 失败 ， 则 需 


它 ， 可 以 运行 bosh 


6.1.2 Cloud Foundry 的 容量 规划 


虚拟 化 和 云 计 算 技术 可 以 使 现代 IT 系统 具有 高 度 的 弹性 ， 减 小 系统 容量 的 增加 和 减少 的 代价 。 那 么 ， 在 云 计 算 时 代 ，IT 系 统 是 否 还 需要 容量 规划 呢 ” 答案 是 肯定 的 。 即 使 是 在 云 计算 的 时 代 ， 容 量规 划 


仍然 是 IT 系 


Cloud 


统 部 署 过 程 中 一 个 重要 步骤 ， 只 是 规划 的 内 容 和 步骤 发 生 了 变化 。 


Foundry 作 为 一 个 通用 的 PaaS$， 其 容量 规划 包括 两 个 层次 的 内 容 。 


第 一 个 层次 是 规划 Cloud Foundry 平 台 本 身 的 容量 ， 即 Cloud Foundry 平 台 本 身 可 以 容纳 的 应 用 (APP) 的 最 大 数量 、 数 据 的 最 大 存储 量 ， 以 及 网 络 的 最 大 吞吐 量 。 


第 二 个 层次 是 规划 部 署 在 Cloud Foundry 平 台 上 的 应 用 APP (IT 系统 ) 的 容量 ， 即 基于 Cloud Foundry 的 业务 系统 可 以 承受 的 最 大 的 负载 和 信息 存储 的 最 大 能 力 。 


Cloud 


Foundry 应 用 APP 的 容量 是 基于 Cloud Foundry 平 台 的 容量 的 ， 也 就 是 说 ，APP 可 以 使 用 的 容量 无 法 超越 Cloud Foundry 平 台 的 系统 容量 。 因 此 ， 在 规划 Cloud Foundry 平 台 自 身 的 容量 之 前 要 


先 规划 应 


APP 的 容量 。 


一 般 来 说 ，Cloud Foundry 的 容量 规划 大 致 可 以 分 为 三 个 步骤 : 


@ 业 务 系统 需求 分 析 。 


@ 应 


系统 容量 规划 。 


GCloud Foundry 平 台 容量 规划 。 


最 终 将 生成 Cloud Foundry 平 台 的 容量 方案 ， 如 图 6-1 所 示 。 


1) 业务 系统 需求 分 析 : 业务 需求 分 析 是 指 根据 业务 系统 的 需求 来 设计 业务 系统 的 组 成 部 分 。 


2) 应 


系统 容量 规划 : 应 用 系统 容量 规划 是 指 根据 业务 需求 分 析 的 结果 ， 计 算 业 务 系统 各 个 组 成 部 分 所 需 的 容量 。 这 里 的 容量 包括 所 需 CPU (或 者 VCPU) 数量 、 所 需 内 存 容量 和 所 需 存储 容量 。 


Cloud Foundry 
平台 容量 


图 6-1 Cloud Foundry 容 量规 划 步 又 


3) Cloud Foundry 平 台 容 量规 划 : Cloud Foundry 平 台 的 容量 规划 是 指 根据 应 用 系统 的 总 容量 来 设计 规划 平台 的 容量 。 在 虚拟 化 和 云 计算 平台 中 ， 可 以 使 用 过 量 复 用 技术 (overcommit) 来 计算 平台 
所 需 的 系统 容量 。 在 一 般 情况 下 ，CPU 的 overcommit 比 率 可 以 设置 为 110， 内 存 的 overcommit 比 率 可 以 设置 为 1:1.5。 如 果 平 台 部 署 的 应 用 主要 是 计算 密集 型 应 用 ， 那 么 应 该 降低 CPU 的 overcommit 比 
率 ， 例 如 设置 为 5， 甚至 1:2; 如 果 平 台 部 署 的 应 用 主要 为 内 存 密集 型 应 用 ， 则 应 该 降低 内 存 的 overcommit 比 率 ， 例 如 设置 为 1:1.2 甚 至 1:1。 


Cloud Foundry 云 计算 平台 为 应 用 提供 了 良好 的 扩展 能 力 ， 包 括 水 平 扩展 (scale out) 能 力 和 垂直 扩展 能 力 (scale up) ， 因 此 在 规划 应 用 系统 时 ， 不 需要 为 未 来 潜在 的 需求 预 留 过 多 的 容量 ， 以 免 造 
成 容量 的 浪费 。 在 业务 增长 造成 应 用 系统 容量 不 足 时 ， 可 以 非常 方便 地 增加 业务 系统 容量 ; 也 可 以 在 应 用 系统 容量 过 剩 时 ， 减 少 容量 以 节约 成 本 。 


同样 的 ，Cloud Foundry 平 台 自 身 也 拥有 良好 的 水 平 扩展 能 力 和 垂直 扩展 能 力 ， 在 平台 容量 不 足 时 ， 也 可 以 方便 地 从 依附 的 aaS 系 统 申请 资源 以 增加 平台 的 总 容量 。 


6.1.3 Cloud Foundry 的 容量 监控 
在 传统 的 IT 系统 容量 规划 过 程 中 ， 由 于 容量 的 扩展 代价 较 大 ， 因 此 容量 规划 时 需要 考虑 未 来 的 容量 需求 。 在 这 种 情况 下 ， 一 般 系统 的 设计 容量 都 会 超过 当前 的 容量 需求 ， 而 且 ， 如 果 未 来 的 容量 需求 增 
长 速度 低 于 预期 的 话 ， 还 会 造成 容量 的 浪费 ， 而 且 浪 费 的 容量 无 法 共享 给 容量 不 足 的 系统 。 


虚拟 化 和 云 计算 技术 给 IT 系统 引入 了 良好 的 弹性 ， 这 使 得 系统 的 容量 可 以 容易 地 在 各 个 IT 应 用 之 间 进 行 调配 。 因 此 ， 我 们 不 再 需要 过 度 规划 IT 系统 的 容量 ， 只 需要 满足 当前 的 容量 需求 即 可 。 一 般 的 设计 
原则 是 ， 将 系统 的 设计 容量 和 所 需 容量 的 比率 设置 为 1.2:1 即 可 ， 对 于 一 些 关键 系统 或 者 业务 增加 较 快 的 系统 ， 这 个 比率 可 以 适当 提高 为 1.5:1， 甚 至 2:1。 


同 理 ， 规 划 Cloud Foundry 平 台 自身 容量 时 ， 也 不 需要 过 度 规划 。 对 于 企业 的 私有 云 平 台 ， 平 台 自身 容量 和 应 用 系统 所 需 容 量 比率 设置 为 1.2:1 即 可 ， 当 然 ， 对 于 业务 增长 迅速 的 系统 ， 比 率 可 以 提高 为 


1.5:1 到 3:1。 对 于 公有 云 平台 ， 由 于 无 法 预计 业务 的 增长 速度 ， 容 量 比率 应 适当 调 高 到 3:1 以 上 。 


在 我 们 享受 云 计算 带 来 的 好 处 时 ， 也 给 系统 容量 规划 带 来 了 新 的 问题 ， 那 就 是 如 果 在 容量 不 足 时 ， 如 何 及 时 地 为 系统 扩充 容量 。 解 决 方案 就 是 进行 完备 的 系统 监控 ， 一 般 情况 下 ， 应 监控 如 下 系统 信息 


来 评估 系统 容量 是 否 不 足 。 
“CPU 使 用 率 
“内存 使 用 率 
.存储 空间 使 用 率 
“ 同时 在 线 用 户 数量 
+ 失败 请 求 次 数 和 比率 
- 请 求 相应 时 间 


“等待 队列 长 度 


监控 系统 监测 到 系统 容量 不 足 时 ， 即 会 发 出 警告 ， 系 统管 理 员 会 增加 系统 容量 以 满足 业务 系统 的 需求 。 在 一 些 智 能 运 维系 统 中 ， 监 控 系 统 监测 到 容量 不 足 时 会 自动 触发 部 署 脚本 来 自动 为 系统 增 容 ， 


保证 系统 的 高 度 可 用 性 。 


6.2 ”网络 设计 


Cloud Foundry 是 由 多 个 功能 模块 组 成 的 复杂 系统 ， 各 个 功能 模块 通过 网 络 相互 通信 协作 。 因 此 ， 部 署 Cloud Foundry 时 ， 网 络 设计 是 一 个 重要 步骤 。 


6.2.1 网络 设计 的 目标 


Cloud Foundry 部 署 实例 由 以 下 五 个 部 分 组 成 : 
* Cloud Foundry 平 台 运 维 工具 BOSH。 
* Cloud Foundry 平 台 管理 。 
“应 用 (APP) 运行 时 环境 。 
* Cloud Foundry 服 务 。 


' 第 三 方 辅助 工具 组 成 。 


一 个 完整 的 Cloud Foundry 部 署 实例 大 约 包含 几 十 个 到 上 百 个 虚拟 机 ， 所 以 在 设计 Cloud Foundry 的 部 署 网 络 的 时 候 需要 考虑 以 下 几 个 原则 。 


1) 安全 性 原则 : 对 于 一 个 云 平 台 来 说 ， 安 全 性 是 一 个 至 关 重要 的 因素 。 网 络 设计 时 要 重点 考虑 安全 性 原则 : 


“ 需要 接收 并 处 理 Internet 请 求 的 节点 要 单独 选择 子 网 ， 并 且 配 备 完 备 的 防火 墙 规则 。 
“ 不 需要 接收 并 处 理 Internet 请 求 的 节点 ， 也 要 选择 单独 的 子 网 ， 并 且 在 与 接收 Internet 请 求 的 子 网 之 间 设 置 完 备 的 防火 墙 规 则 。 
“ 远程 管理 (例如 ssh 连 接 ) 集中 管理 ， 不 要 为 所 有 节点 都 打开 远程 管理 端口 。 


2) 高 效 性 原则 : 交互 频繁 、 通 信 数 据 量 大 的 虚拟 机 放 在 同一 子 网 ， 以 提高 网 络 传输 性 能 。 


以 


3) 高 可 用 性 原则 : 高 可 用 性 原则 是 指 某 个 虚拟 机 或 者 网 络 模块 失效 时 ， 系 统 依然 能 够 正常 工作 的 设计 原则 。 实 现 高 可 用 性 的 有 效 途径 是 为 每 个 虚拟 机 或 者 功能 模块 配置 多 个 实例 ， 并 且 通 过 一 些 技术 手 


段 实现 在 一 个 实例 失效 时 ， 其 他 实例 可 以 接管 失效 实例 的 工作 。 


6.2.2 ”典型 的 网 络 设计 方案 
在 Cloud Foundry 下 ， 有 几 种 典型 的 网 络 设计 方案 。 


1. 单 一 子 网 方案 


所 有 Cloud Foundry 节 点 都 处 在 同一 子 网 ， 如 图 6-2 所 示 。 这 种 配置 方案 简单 方便 ， 但 是 有 违 前 面 阐述 的 安全 性 原则 、 高 效 性 原则 和 高 可 用 性 原则 ， 因 
境 中 不 推荐 使 用 。 


在 开发 或 者 测试 环境 。 在 4 


FE 产 环 


2. 多 子 网 方案 


其 他 节点 


这 种 方案 是 指 为 Cloud Foundry 的 每 个 功能 模块 创建 一 个 或 几 个 子 网 ， 各 个 子 网 之 间 使 有 


因此 一 般 


在 生产 环境 中 。 


Runtime Service 


图 6-2 单一 子 网 方案 


路 由 器 连接 ， 如 


图 6-3 所 示 。 这 种 配置 可 以 充分 实现 网 络 设计 的 安全 性 原则 和 高 效 性 原则 ， 但 是 配置 过 程 略 显 复 


< 


pe m |n m 


ervice VM 


内 部 网 络 


图 6-3 ”多 子 网 方案 


3. 高 可 用 性 方案 


多 子 网 方案 虽然 实现 了 网 络 设计 的 安全 性 原则 和 高 效 性 原则 ， 但 是 没有 实现 高 可 用 性 。 因 此 ， 在 可 用 性 要 求 很 高 的 环境 中 ， 应 在 不 同 的 Available Zone (AZ) 中 配置 多 个 Cloud Foundry 实 例 ， 并 且 使 
负载 均衡 设备 (HAproxy 或 者 load balancer) 来 均衡 各 个 实例 的 负载 。 在 高 可 用 性 方案 ( 见 图 6-4) 中 ， 即 使 某 个 AZ 中 的 VM 或 者 功能 模块 全 部 失效 ， 依 然 可 以 保证 Cloud Foundry 的 可 用 性 。 


内 部 网 络 内 部 网 络 


图 6-4 ”高 可 用 方案 


6.3 ”安全 策略 


安全 对 于 任何 一 个 云 计算 平台 来 说 都 是 极其 重要 的 问题 。 不 安全 的 平台 是 无 法 得 到 用 户 的 信任 的 。 那 么 ，Cloud Foundry 是 如 何 保证 系统 的 安全 性 呢 ? 


在 Cloud Foundry 中 ， 一 般 通过 隔离 用 户 的 应 用 和 数据 并 通过 应 用 安全 控制 策略 来 实现 平台 的 安全 性 。Cloud Foundry 实 现 了 一 个 基于 角色 (role) 的 权限 管理 ， 通 过 应 用 角色 和 权限 的 控制 ， 保 证 每 
个 用 户 只 能 浏览 和 修改 其 有 权限 访问 的 空间 (space) 。Cloud Foundry 保 证 用 户 的 应 用 (APP) 在 一 个 多 租户 (multi-tenant) 环境 下 的 安全 性 ， 通 过 资源 匮乏 (resource starvation) 的 方式 来 阻止 拒 


绝 服务 攻击 (DoS) . 


6.3.1 ”通过 网 络 规划 保证 系统 安全 


在 上 一 节 提 到 过 ， 网 络 规划 要 遵循 的 一 个 重要 原则 就 是 安全 性 原则 。 因 此 ， 我 们 需要 创建 多 个 子 网 隔离 Cloud Foundry 各 个 功能 模块 。 图 6-5 是 一 个 典型 的 网 络 设计 方案 ， 在 这 个 方案 中 ， 只 有 负载 均衡 
器 、NAT 虚 拟 机 和 jumpbox 可 以 从 Internet 访 问 ， 其 他 的 功能 模块 与 Internet 隔 离 ， 这 样 可 以 减 小 Cloud Foundry 平 台 自 身 被 攻击 的 可 能 性 。 


负载 均衡 器 


Router 
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图 6-5 ”典型 的 网 络 设计 方案 


Cloud Foundry 平 台中 所 有 与 Internet 交 互 的 模块 都 使 用 了 安全 协议 HTTPS。 


6.3.2 Cloud Foundry 应 用 (APP) 的 安全 


当 我 们 启动 一 个 Cloud Foundry 应 用 (APP) 的 时 候 ，Cloud Foundry 会 在 DEA 或 者 Diego 的 节点 的 应 用 容器 (Container) 上 随机 选择 一 个 端口 


的 端口 。 


DMZ 


Inbound requests 负载 


均衡 器 ? 


Outbound traffic 


jumpbox 


[N 


Director 


Message Bus (NATS) 
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图 6-6 ”应 用 访问 通过 另 一 条 网 络 路 径 以 保障 安全 


- Inbound KR: 请 求 通过 负载 均衡 器 ， 经 过 Router 节 点 ， 到 达 DEA 或 者 Diego， 然 后 达到 应 用 容器 ， 最 后 到 达 应 用 。 


- Outbound 请 求 : 请 求 通过 应 用 容器 到 达 DEA 或 者 Diego， 然 后 经 过 NAT 或 者 其 他 网 关 到 达 Internet。 


因此 ， 一 些 恶意 攻击 者 无 法 通过 Outbound 请 求 得 到 Inbound 请 求 的 路 由 ， 因 此 也 就 无 法 到 达 应 用 ， 从 而 保证 了 应 


的 安全 。 


， 同 时 设置 环境 变量 PORT 向 应 上 


Cloud Foundry 平 台中 的 Router 节 点 使 用 这 些 信息 将 外 部 请 求 路 由 到 应 用 (APP) ， 但 是 应 用 访问 Internet 则 不 通过 Router 节 点 ， 


而 是 经 过 另外 一 条 网 络 路 径 ， 如 


图 6-6 所 示 。 


Elastic Runtime Vlan 


容器 通知 此 应 上 


a 


um. 


6.3.3 应 用 (APP) 级 防火 墙 : 网 络 流量 规则 


Cloud Foundry 平 台 提供 了 应 用 (APP) 级 的 防火 墙 系统 一 一 网 络 流量 规则 (network traffic rule) 来 提高 应 用 的 安全 性 。 通 过 定义 网 络 流量 规则 ， 可 以 定制 应 用 (APP) 与 Cloud Foundry 平 台 自身 
的 功能 模块 之 间 的 交互 。 


户 可 以 使 用 如 下 方式 来 定义 网 络 流量 规则 : 


1) 使 用 Cloud Foundry 的 命令 行 工 具 cf: cf 支持 用 户 自 定义 应 用 安全 组 (Application Security Group，ASG) 来 定义 应 用 (APP) 是 否 可 以 访问 Cloud Foundry 平 台 自 身 的 功能 模块 ， 以 及 可 以 访问 
哪些 功能 模块 。 


2) 部 署 时 设置 DEA/Diego 的 网 络 属性 : 在 部 署 Cloud Foundry 时 ， 我 们 可 以 在 DEA 或 者 Diego 中 配置 allow_networks 和 deny_networks， 从 而 确定 DEA 或 者 Diego 中 的 应 用 容器 可 和 否 访问 Cloud 
Foundry 平 台 自身 的 功能 模块 。 


6.34 BOSH 的 安全 


BOSH 是 Cloud Foundry 的 一 个 重要 组 成 部 分 ，Cloud Foundry 运 维 人 员 通 常 使 用 BOSH 来 部 署 和 升级 Cloud Foundry， 因 此 ，BOSH 的 安全 也 是 Cloud Foundry 安 全 的 一 个 重要 部 分 。 所 以 ， 推 荐 使 
HTTPS 安 全 协议 与 BOSH director 节 点 交互 。 


6.3.5 ”认证 与 授权 


Cloud Foundry 使 用 UAA (User Account and Authentication) 节点 来 实现 整个 系统 的 认证 与 授权 。UAA 使 用 OAuth2 认 证 服务 器 来 为 应 用 访问 系统 资源 颁发 令 牌 (token) 。 


一 般 情 况 下 ，UAA 使 用 本 地 数据 库 UAADB 来 存储 用 户 的 认证 信息 ， 与 此 同时 ，UAA 也 可 以 与 企业 内 部 的 LDAP 服 务 器 或 者 SAML 集 成 ， 实 现 单 点 登录 (single sign-on) 。 


6.3.6 ”安全 事件 的 记录 和 审查 


世上 不 存在 绝对 安全 的 系统 ， 因 此 系统 管理 员 需要 随时 监控 系统 的 安全 事件 ， 及 时 发 现 安全 漏洞 并 且 采 取 措施 。 监 控 系 统 状态 的 一 个 有 效 方式 是 审查 系统 日 志 。 


在 Cloud Foundry 平 台中 ， 系 统管 理 员 可 以 配置 syslog_daemon_config 来 重 定向 系统 实例 到 日 志 管 理 分 析 工 具 中 (例如 Logsearch) 来 管理 和 分 析 日 志 中 的 安全 事件 。 


6.3.7 ”安全 性 的 一 些 建议 


为 了 保证 Cloud Foundry 的 安全 性 ,我 们 可 以 采用 如 下 措施 : 


1) 在 部 署 时 ， 使 用 部 署 文件 来 配置 UAA 的 客户 端 和 用 户 信息 ， 并 且 限 制 这 些 客户 端 和 用 户 信息 的 使 用 场景 。 


2) 在 网 络 规划 时 ， 使 用 VLAN 来 隔离 不 同 功能 模块 的 虚拟 机 ， 最 大 限度 地 阻止 未 授权 的 访问 。 


3) 应 用 使 用 HTTPS 来 传递 敏感 信息 ， 数 据 库 使 用 SSL 来 传输 敏感 信息 。 


4 


二 


保证 NAT、 负 载 均衡 器 和 jumpbox 的 安全 性 。 


5) 加 密 本 地 文件 和 数据 库 中 敏感 数据 。 


6 


在 信任 的 网 络 中 ， 按 照 某 种 规则 命名 网 络 接口 ， 避 免 使 用 不 规则 的 网 络 接口 名 称 。 


7) 与 第 三 方 服务 交互 时 应 当 不 断 地 检查 和 监控 安全 事件 。 


8) 使 用 Cloud Foundry 的 RBAC 模 型 来 管理 和 限制 用 户 的 访问 权限 。 


64 本章 小 结 


在 本 章 中 ， 我 们 讨论 了 在 Cloud Foundry 部 署 之 前 应 完成 的 设计 规划 工作 ， 即 容量 规划 、 网 络 设计 和 安全 策略 设计 。 这 些 规 划 工 作 描绘 了 Cloud Foundry 云 平台 的 蓝图 ， 在 完成 这 些 工作 之 后 ， 系 统管 
理 员 即 可 以 开始 Cloud Foundry 的 部 署 工作 。 


第 7 章 Cloud Foundry 的 部 署 实施 


借助 BOSH，Cloud Foundry 可 以 轻松 地 部 署 在 不 同 的 laas 平 台 ， 包 括 公 有 云 中 亚马逊 的 AWS、 微 软 的 Azure、 谷 歌 的 GCP， 也 包括 私有 云 平 台 vSphere 和 Openstack。 本 章 将 详细 描述 在 AWS、 
vSphere 和 OpenStack 上 部 署 Cloud Foundry 开 源 版 本 的 步骤 。 在 Azure 和 GCP 上 部 署 的 方法 类 似 ， 请 参考 官方 文档 。 同 时 Pivotal 公 司 也 提供 一 个 商业 版 的 图 形 化 部 署 工 具 Ops Manager， 我 们 将 在 7.4 节 


介绍 这 个 工具 。 


由 于 vSphere 也 可 以 部 署 到 AWS， 也 有 很 多 基 了 


FOpenStack 的 公有 laaS 服 务 商 ， 


此 严格 来 说 ，vSphere 和 OpenStack 是 同时 支持 公有 云 和 私有 云 的 。 为 了 简单 起 见 ， 本 章 中 对 vSphere 和 OpenStack 


的 描述 以 企业 私有 云 的 环境 为 主 。 


在 每 种 平台 上 ， 借 助 BOSH 的 部 署 大 致 都 包含 如 下 几 部 分 内 容 : 一 是 准备 部 署 需 要 


HR, ZEA KSE, 二 是 准备 部 署 的 描述 文件 ， 这 个 描述 文件 集中 了 所 有 与 部 署 相 关 的 环境 、 版 本 、 账 号 信息 


等 ; 三 是 执行 部 署 命 令 ， 这 部 分 工作 非常 简单 ， 基 本 上 不 需要 太 多 的 人 工 干预 。 
7.4 ”基于 AWS 的 安装 
本 节 将 介绍 如 何在 亚马逊 的 Web Service 平 台 上 安装 Cloud Foundry, 
7.1.1 安装 的 先决 条 件 
1. 构 建 jumpbox 环 境 
jumpbox 是 一 个 部 署 在 AWS 中 的 Linux 虚 拟 机 ， 它 与 Cloud Foundry 属 于 同一 个 AWS VPC， 因 而 提供 了 安装 维护 Cloud Foundry 的 安全 性 与 便利 性 。 


(1) AWSE 


设置 AWS 的 过 程 如 下 : 


1) 创建 jumpbox security group， 定 义 Inbound Rules, 如 


7-1 所 示 。 


sg-93ca39f6 | jumpbox 


Summary 


Type Protocol 


SSH (22) TCP(6 22 


Custom UDP Rule UDP (17) 
ALL Traffic 


ALL ALL 


2) 创建 jumpbox subnet，jumpbox 虚 拟 机 将 会 部 署 在 此 子 网 中 ， 如 


7-2 所 示 。 


Q jumpbox x 


Name Subnet ID 


jumpbox1 


3) 通过 AWS AMI 创 建 jumpbox 虚 拟 机 (建议 选用 Ubuntu AMI) 。 如 图 


pair。 


7-3 所 示 ， 


4) B 


HiBElastic IP， 将 ElIP 绑 定 到 umpbox 虚 拟 机 。 


Inbound Rules 


subnet-8452f7e1 


可 以 通过 SSH 协 议 登 录 此 虚拟 机 ， 利 用 BOSH 进 行 Cloud Foundry 等 分 布 式 系统 在 AWS 平 台 上 的 安装 。 


Outbound Rules 


Port Range Source 


0.0.0.0/0 


60000-61000  0.0.0.0/0 


sg-2fidef4a 


图 7-1 定义 Inbound Rules 


available 


vpc-e0ae1885 (10.10.0.0/16) | p... 


图 7-2 ”部 署 umpbox 虚 拟 机 


security group 选 择 “jumpbox”。subnet 选 择 “jumpbox”。526937.jpg 注 意 保存 访问 jumpbox 所 需 的 key 


5) 通过 SSH 协 议 登 录 jumpbox， 如 图 7-4 所 示 。 


$ ssh-add <JUMPBOX_PUB_KEY> 
$ ssh ubuntu@<JUMBOX EIP> 


(2) 安装 Ruby 运 行 环境 


可 以 通过 ruby-instal| 或 者 rupy-build 等 工具 进行 Ruby 的 安装 。Ruby 版 本 建议 选择 2.1 版 本 。 


(3) 安装 其 他 运行 环境 


jumpbox 也 可 安装 诸如 Go、Python 等 语言 的 运行 环境 或 者 第 三 方 的 思 


1. Choose AMI 2. Choose Instance Type 3. Configure Instance 


Step 7: Review Instance Launch 


SITA (如 git) ， 用 于 帮助 用 户 更 好 地 部 署 维护 BOSH/Cloud Foundry. 


4, Add Storage 5. Tag Instance 


6. Configure Security Group 7. Review 


Please review your instance launch details. You can go back to edit changes for each section. Click Launch to assign a key pair to your instance and complete the launch process. 


A Improve your instances' security. Your security group, jumpbox, is open to the world. 


Your instances may be accessible from any IP address. We recommend that you update your security group rules to allow access from known IP addresses only. 
You can also open additional ports in your security group to facilitate access to the application or service you're running, e.g., HTTP (80) for web servers. Edit security 


groups 


v AMI Details 


Ubuntu Server 14.04 LTS (HVM), SSD Volume Type - ami-0220b23b 
© Ubuntu Server 14.04 LTS (HVM), EBS General Purpose (SSD) Volume Type, Support available from Canonical (http://www.ubuntu.com/cloud/services). 


Root Device Type: ebs Virtualization type: hvm 
v Instance Type 
Instance Type ECUs vCPUs 


m3.large 6.5 2 


» Security Groups 


Security Group ID 
sg-93ca39f6 


All selected security groups inbound rules 


Security Group ID Type (i) 


sg-93ca39f6 Custom UDP Rule 
sg-93ca39f6 SSH 
sg-93ca39f6 All traffic 


* Instance Details 
» Storage 
» Tags 


图 7-3 ”创建 jumpbox 虚 拟 机 


Edit AMI 


Edit instance type 
Network Performance 


Moderate 


Edit security groups 


Description 
sg for jumpbox 


Source (i) 


0.0.0.0/0 
0.0.0.0/0 
$g-2fidef4a (bosh) 


Edit instance details 
Edit storage 


Edit tags 


Canco! | Provous ERR 


O =» ssh-add jumpbox.pem 
Identity added: jumpbox.pem (jumpbox.pem) 


ruby 2.4.1p111 jackwu-imac 06.27.2017 16:10:10 in ~/Downloads 
© > ssh ubuntu@52.91.153.89 
Welcome to Ubuntu 16.04.2 LTS (GNU/Linux 4.4.0-1020-aws x86 64) 


* Documentation: https://help.ubuntu. com 
* Management: https:// landscape. canonical. com 
* Support: https://ubuntu. com/advantage 


Get cloud support with Ubuntu Advantage Cloud Guest: 
http://www. ubuntu. com/business/services/cloud 


@ packages can be updated. 


0 updates are security updates. 


Last login: Tue Jun 27 08:09:56 2017 from 126.112.254.162 
To run a command as administrator (user "root"), use "sudo <command>". 
See "man sudo_root" for details. 


ubuntu@ip-10-0-6-178:~$ fj 


图 7-4 登录 jumpbox 


2. 构 建 BOSH 环 境 


BOSH 是 一 个 用 于 安装 分 布 式 系统 的 系统 环境 ， 本 节 将 介绍 如 何在 AWS 环 境 中 安装 BOSH 系 统 。 


(1) 安装 BOSH 命 令 行 工 具 (BOSH CLI) 


BOSH CLI 不 仅 用 于 与 BOSH 的 director 进 行 交 互 ， 还 可 启动 创建 新 的 BOSH 环 境 。BOSH CLI 由 Ruby 语 言 编写 ， 可 登录 构建 好 的 jumpbox 虚 拟 机 ， 执 行 以 下 命令 安装 BOSH CLI: 


$ gem install bosh cli bosh cli plugin micro --no-ri --no-rdoc 


如 在 安装 过 程 中 遇 到 问题 ， 可 以 访问 以 下 页 面 进行 错误 探查 : http://bosh.io/docs/bosh-cli.html#troubleshooting, 
(2) AWS 设 置 


执行 BOSH 的 安装 命令 之 前 ， 需 要 配置 好 适合 BOSH 安 装 使 用 的 AWS 环 境 ， 此 环境 会 在 之 后 的 CF 安 装 中 同样 使 用 。 配 置 过 程 如 下 : 


1) 创建 Internet Gateway， 如 图 7-5 所 示 。 


Create Internet Gateway 


An Internet gateway is a virtual router that connects a VPC to the Internet. 


Name tag | CF-gateway 


图 7-5 4!) # Internet Gateway 


2) 创建 Subnet， 如 图 7-6 所 示 。 


x 


+ Subnet ID ~ State ~ VPC ~ CIDR ~ Available IPs ~ Availability Zone 


subnet-c01eb8a5 available vpc-e0ae1885 (10.10.0.0/16) | p... 10.10.0.0/24 247 cn-north-1a 
subnet-be6c6cca available vpc-e0ae1885 (10.10.0.0/16) | p... — 10.10.64.0/24 250 cn-north-1b 


7-6 创建 Subnet 


3) 创建 Route Table。 创 建 一 个 名 为 “main” 的 route table， 添 加 上 一 步 创建 的 Gateway 为 其 一 个 Route， 并 关联 上 一 步 创建 的 Subnet， 如 图 7-7、 图 7-8 所 示 。 


4) 创建 Security Group。 创 建 两 个 Security Group， 分 别 为 cf、bosh。cf 的 Inbound Rules 如 图 7-9 所 示 。 


bosh 的 Inbound Rules 如 下 ， 其 中 sg-bd1defd8 表 示 cf 的 security group，sg-93ca39f6 表 示 jumpbox 的 security group， 如 图 7-10 所 示 。 
rtb-e459b181 | main 


Summary Routes Subnet Associations Route Propagation 


Destination Target Status Propagated 
10.10.0.0/16 local Active No 


0.0.0.0/0 igw-3c638a59 Active No 


图 7-7 ”创建 Route 


rtb-e459b181 | main 


Summary Subnet Associations Route Propagation 


Subnet CIDR 


subnet-c01eb8a5 (10.10.0.0/24) | bosh1 10.10.0.0/24 


subnet-a6b7 11c3 (10.10.1.0/24) | bosh rds1 10.10.1.0/24 
subnet-845217e1 (10.10.4.0/24) | jumpbox1 10.10.4.0/24 
subnet-b9b4bOcd (10.10.5.0/24) | jumpbox2 10.10.5.0/24 


subnet-da7573ae (10.10.65.0/24) | bosh_rds2 10.10.65.0/24 


7-8. 关联 Subnet 


sg-bdidefd8 | cf 


Summary Inbound Rules Outbound Rules 


Type Protocol Port Range Source 


ALL Traffic ALL ALL 10.10.0.0/16 


7-9 设置 Inbound Rules 


sg-2fidef4a | bosh 


Summary Inbound Rules Outbound Rules 


Type Protocol Port Range Source 


DNS (TCP) (53) TCP (6) sg-bd1defd8 
Custom TCP Rule TCP (6) sg-bd1defd8 
Custom TCP Rule TCP (6) sg-bd1defd8 
Custom TCP Rule TCP (6) sg-bd1defd8 
Custom TCP Rule TCP (6) sg-2fidef4a 


DNS (UDP) (53) UDP (17) sg-bd1defd8 


ALL Traffic ALL sg-93ca39f6 


ALL Traffic ALL 54.223.249.145/32 


ALL Traffic ALL sg-2fidef4a 


图 7-10 BOSH 的 Inbound Rules 设 置 
(3) 构建 BOSH 的 安装 文件 


由 于 BOSH 可 由 bosh init 进 行 安装 ， 因 此 BOSH 的 yml 安 装 文件 与 一 般 的 BOSH release 的 安装 文件 有 些许 差别 ， 以 下 是 一 个 yml 安 装 文件 示例 : 


name: bosh 
releases 


- name: bosh 
url: 5://bosh.io/d/github.com/cloudfoundry/bosh?v-248 
shal: E: TO ono 3e COSA fd £55b2eb2 


- name: gos 
url: 5:/ Jos io/d/github.com/cloudf. ony ncubator/bosh-aws-cpi-release?v-41 
shal: mc B 人 35274769C c5efi 


resource pools 


- name: vms 
network: private 
stemcell: 
url: https://bosh.io/d/stemcells/bosh-aws-xen-hvm-ubuntu-trusty-go agent?v-3012 
shal: 3380b55948abe4c437dee97£67d2d8df4eec3fcl p 
cloud properties: 
instance type: m3.xlarge 
ephemeral disk: (size: 25 000, type: gp2) 
availability zone: AVAILABILITY-ZONE # «--- Replace with Availability Zone 


disk pools: 
- name: disks 
disk size: 20 000 
cloud properties: (type: gp2) 


networks: 
- name: private 
type: manual 
subnets: 
- range: 10.0.0.0/24 
gateway: 10.0.0.1 
dns: [10.0.0.2] 
Cloud properties: (subnet: SUBNET-ID) # «--- Replace with Subnet ID 
- name: public 
type: vip 


jobs: 
- name: bosh 


instances: 1 

templates: 

- (name: nats, release: bosh} 

- (name: redis, release: bosh} 

- (name: postgres, release: bosh} 

=- (name: Blobstore, release: bosh} 

- (name: director, release: bosh} 

- (name: health monitor, release: bosh] 
- (name: registry, release: bosh} 

- (name: aws cpi, release: bosh-aws-cpi} 


resource pool: vms 
persistent disk pool: disks 


networks: 
- name: private 
static ips: [10.0.0.6] 
default: [dns, gateway] 
- name: public 
static ips: [ELASTIC-IP] # «--- Replace with Elastic IP 


properties: 
nats: 
address: 127.0.0.1 
user: nats 
password: nats-password 


redis: 
listen address: 127.0.0.1 
address: 127.0.0.1 
password: redis-password 


postgres: &db 
listen address: 127.0.0.1 
host: 127.0.0.1 
user: postgres 
password: postgres-password 
database: bosh 
adapter: postgres 


registry: 
address: 10.0.0.6 
host: 10.0.0.6 
db: *db 
http: (user: admin, password: admin, port: 25777) 
username: admin 
password: admin 
port: 25777 


blobstore: 
address: 10.0.0.6 
port: 25250 
provider: dav 
director: (user: director, password: director-password) 
agent: (user: agent, password: agent-password] 


director: 
address: 127.0.0.1 
name: my-bosh 
db: *db 
cpi job: aws cpi 
max threads: 10 
user management: 
provider: local 
local: 
users: 
- (name: admin, password: admin) 
- (name: hm, password: hm-password) 


hm: 
director account: (user: hm, password: hm-password] 
resurrector enabled: true 


aws: &aws 
access key id: ACCESS-KEY-ID # «--- Replace with AWS Access Key ID 
secret access key: SECRET-ACCESS-KEY # «--- Replace with AWS Secret Key 
default key name: bosh 
default security groups: [bosh] 
region: us-east-I 


agent: (mbus: "nats://nats:nats-—password@10.0.0.6:4222"} 
ntp: &ntp [0.pool.ntp.org, 1.pool.ntp.org] 


cloud provider: 
template: (name: aws cpi, release: bosh-aws-cpi} 
ssh tunnel: 
host: ELASTIC-IP # <--- Replace with your Elastic IP address 
port: 22 
user: vcap 
private key: ./bosh.pem # Path relative to this manifest file 


mbus: "https://mbus:mbus-passwordGELASTIC-IP:6868" # «--- Replace with Elastic IP 


properties: 
aws: *aws 
agent: (mbus: "https://mbus:mbus-passwordQ0.0.0.0:6868") 
Blobstore: (provider: local, path: /var/vcap/micro bosh/data/cache] 
ntp: *ntp a 


(4) 安装 BOSH 
可 根据 第 4 章 介绍 的 基于 AWS 进 行 BOSH 的 安装 ， 由 bosh init 安 装 BOSH。 


(5) 指定 BOSH Director 


指定 BOSH Director 的 命令 如 下 : 


$ bosh target <DIRECTOR IP> 
$ bosh login 


7.1.2 部 署 Cloud Foundry 


本 节 将 介绍 如 何 采用 BOSH 将 Cloud Foundry 部 署 到 AWS 平 台 之 上 。 


1. 构 建 Cloud Foundry 的 部 署 文 件 


CF 的 部 署 文件 采用 YAML 格 式 来 定义 部 署 的 组 件 和 参数 。cloudfoundry/cf-release (https://github.com/cloudfoundry/cf-release) 包含 了 CF 的 部 署 文件 模板 ， 用 户 可 以 修改 模板 来 定制 符合 自 
求 的 部 署 文件 。 其 中 ，minimal-aws.yml 文 件 包 含 了 将 CF 部 署 到 AWs 的 最 少 信息 依赖 。 


接 下 来 ， 我 们 将 以 minimal-aws.ym 为 例 介 绍 CF 在 AWS 上 的 部 署 配置 。 


1) 创建 目录 用 于 保存 部 署 信息 。 


$ mkdir -/cf-deployment 


2) 进入 cf-deployment 目 录 并 复制 cloudfoundry/cf-release。 


$ git clone https://github.com/cloudfoundry/cf-release.git 


3) 进入 cf-release 的 example_manifests 子 目录 ， 打 开 minimal-aws.yml 模 板 ， 复 制 并 保存 所 有 内 容 到 一 个 新 的 部 署 文件 中 ， 在 此 新 的 文件 中 ， 用 户 需 要 修改 如 下 的 属性 值 : 


+ REPLACE_WITH_AZ 


: REPLACE_WITH_BOSH_SECURITY_GROUP 


+ REPLACE, WITH. DIRECTOR ID 


: REPLACE, WITH. ELASTIC IP 


+ REPLACE, WITH. PRIVATE SUBNET ID 


: REPLACE, WITH. PUBLIC. SECURITY GROUP 


+ REPLACE, WITH. PUBLIC SUBNET ID 


+ REPLACE, WITH. SSL, CERT AND KEY 


+ REPLACE, WITH. SYSTEM DOMAIN 


下 一 节 将 介绍 如 何 定义 这 些 属性 。 


4) 执行 bosh status--uuid 命 令 即 可 获取 BOSH 的 Director 1D， 在 部 署 文件 中 更 新 属性 值 : 


$ bosh target «DIRECTOR HOST» 
$ bosh login 
$ bosh status --uuid 


2.AWS 设 置 
1) 登录 AWS 账 户 ， 选 择 待 安装 CF 的 Region。 
2) 创建 一 个 NAT 虚 拟 机 。 


@ 在 EC2 Dashboard 上 ， 单 击 Launch Instance, 


@ 单 击 Community AMIs， 搜 索 并 选择 ami“amzn-ami-vpc-nat-pv-2014.09.1.x86 64-ebs" , 
@@ 选 择 安装 “m1.small” 类 型 的 虚拟 机 。 

@ 单 击 Next 按 钮 ， 配 置 虚拟 机 实例 信息 如 下 : 

* Network: 选择 CF 待 安装 的 VPC。 

- Subnet: 选择 NAT 虚 拟 机 待 安装 的 Subnet。 

* Auto-assign Public IP: 选择 “Enable”。 

@ 单 击 Next， 选 择 Add Storage. 


@ 单 击 Next， 选 择 Tag Instance,， 输 入 “NAT” 作 为 “Name” 键 的 值 。 


@ 单 击 Next， 选 择 Configure Security Group， 创 建 一 个 新 的 Security Group， 如 图 7-11 所 示 。 


Security Group: sg-271ae642 


Description Inbound Outbound 


Edit 


Type i Protocol |i Port Range |i Source |i 


All traffic All All 10.10.0.0/16 


图 7-11 创建 新 的 Security Group 
@ 单 击 Review and Launch, 


@ 单 击 “Choose an existing key pair”， 选 取 “BOSH” key pair, 


外 单 击 Launch Instances, 


(11) 单 击 View Instances, 


(12) 在 EC2 实 例 列 表 中 选取 “NAT” 实例 ， 单 击 “Actions->Networking”， 然 后 选择 Change Source/Dest.Check, FH “Yes,Disable” , 


3) 更 新 security group: bosh。 
@ 在 VPC Dashboard}, ii "Security Groups”， 选 择 “bosh” security group. 


@ 单 击 Inbound Rules， 编 辑 并 保存 以 下 一 条 rule: 


* Type: “Custom TCP Rule” 
.Protocol: “TCP (6) ” 
* Port Range: “4443” 


- Source: “0.0.0.0/0” 


@@ 在 部 署 文件 中 ， 更 新 REPLACE_WITH_BOSH_SECURITY_GROUP， 指 向 “bosh” security group. 


注意 : 在 部 署 文 件 中 ， 必 须 使 用 name 而 不 是 ID 来 指定 security group. 


4) 创建 部 署 CF 所 需要 的 subnet。 

@ 在 VPC Dashboard P&# "Subnets" , 

@ 单 击 “Create Subnet” 并 进行 如 下 赋值 操作 : 

- Name tag: cfc 

- VPC: BOSH. 

+ Availability Zone: 选择 与 “BOSH”subnet 相 同 的 zone。 
- CIDR block: 10.0.16.0/24 


At "Yes, Create” fkth. 


@ 在 部 署 文件 中 替换 如 下 值 : 

-REPLACE_WITH_AZ。 

. 用 “cf”subnet 的 ID 替换 REPLACE_WITH _ PRIVATE, SUBNET. IDs 

- 用 “Public subnet” 的 ID 替换 REPLACE_WITH PUBLIC SUBNET. ID. 


图 选择 “cf Subnet” ， 在 窗口 的 底部 单 击 “Route table" , 


@ 单 击 “Edit” 按 钮 并 进行 如 下 赋值 操作 : 


* Destination: 0.0.0.0/0. 

- Target: 选择 NAT instance. 

“ 单 击 “Save” 按 钮 保存 操作 。 

@ 在 VPC Dashboard 中 单 击 “Elastic IP" , 


@ 单 击 “Allocate New Address" 按钮 创建 一 个 新 的 EIP。 


@ 在 部 署 文件 中 使 用 此 IP 更 新 REPLACE_WITH_ELASTIC IP, 


@ 在 VPC Dashboard 中 单 击 “Security Groups" , 


@ 单 击 “Create Security Group" ， 并 进行 如 下 赋值 操作 : 


* Name tag: cf-public. 


* Group name: cf-public。 


* Description: cf Public Security Group. 


` VPC: 选择 待 安装 CE 的 VPC。 


单 击 “Yes，Create” 按 钮 。 


(11) 编辑 cf-public Security Group 的 Inbound Rules， 如 下 表 所 示 : 


Custom TCP Rule T | — He——— 0.0.0.0/0 


(12) 在 部 署 文 件 中 用 cf-public Security Group 更 新 REPLACE_ WITH PUBLIC SECURITY GROUP, 


5) 配置 CF 的 DNS。 


如 果 用 户 拥 有 域名 并 准备 将 其 作为 Cloud Foundry 的 系统 域名 ， 那 么 可 按照 如 下 步骤 来 配置 DNS; 否则 可 跳 过 步骤 1 ~ 5， 采 用 YOUR_ELASTIC_IP.xip.io 作 为 系统 域名 。 


@@ 在 AWS Console 上 单 击 “Route 53" 

Qi "Hosted Zones” , 

@ 创 建 一 个 新 的 zone 或 者 选择 一 个 已 存在 的 zone。 
@ 单 击 “Go to Record Sets” , 

@ 单 击 “Create Record Set” 并 进行 如 下 赋值 操作 : 
< Name: *。 

* Type: A-IPv4 address. 


- Value: 输入 在 创建 subnet 时 创建 的 Elastic IP. 


单 击 “Create” 按 钮 完成 创建 。 


@ 在 部 署 文 件 中 采用 客户 的 系统 域名 来 蔡 换 REPLACE_ WITH_SYSTEM_DOMAIN， 例 如 your-cf-domain.com。 


@ 执 行 以 下 命令 为 系统 域名 生成 SSL certificate: 


openssl genrsa -out cf.key 1024 

openssl req -new -key cf.key -out cf.csr 

openssl x509 -req -in cf.csr -signkey cf.key -out cf.crt 
cat cf.crt && cat cf.key 


WDD 


6) 在 部 署 文 件 中 用 以 上 命令 生成 的 cert 和 key 蔡 换 REPLACE_WITH_SSL_CERT_AND KEY, 


3. 部 署 Cloud Foundry 


(1) 上 传 release 


1) 进入 release 子 目录 ， 选 择 待 部 署 的 release 版 本 并 进行 上 传 。 


$ cd ~/cf-deployment/cf-release/releases/ 
$ bosh upload release -/cf-deployment/cf-release/releases/cf-«latest-version».yml 


建议 上 传 最 新 版 本 的 release。 


2) 可 采用 以 下 命令 判断 release 是 否 上 传 成 功 : 


$ bosh releases 


注意 : 如 果 在 上 传 过 程 中 遇 到 “Blobstore error indicates that the device has no space left” 错 误 ， 可 以 执行 如 下 命令 来 扩大 /tmp 目 录 下 的 磁盘 空间 : 


sudo su - 

mkdir /tmp2 

mount --bind /tmp2 /tmp 
sudo chown root:root /tmp 
sudo chmod 1777 /tmp 


X0 An An An An 


(2) 上 传 stemcell 


上 传 stemcell 的 命令 如 下 : 


$ bosh upload stemcell «stemcell url» 


有 关 stemcell 的 URL 可 从 http://bosh.io/stemcells/ 获 取 。 


(3) BS 


执行 以 下 命令 进行 CF 的 部 署 ，MANIFEST-NAME.yml 即 为 上 一 节 创 建 的 部 署 文件 。 


$ bosh deployment ~/ PATH TO YOUR MANIFEST/MANIFEST-NAME .yml 
$ bosh deploy 


如 果 在 部 署 过 程 中 遇 到 如 下 错误 ， 则 再 一 次 执行 bosh deploy 命 令 : 


Error 400007: 'api/0' is not running after update 


4. 验 证 安装 


Cloud Foundry 提 供 了 CF 命令 行 控制 工具 (CLI) ， 可 使 用 户 方便 快捷 地 在 CF 上 部 署 和 设置 应 用 程序 。 接 下 来 将 介绍 如 何 利用 CF CLI 部 署 应 用 程序 ， 以 验证 CF 安装 的 正确 性 。 


(1) 安装 CF CLI 
1) 下 载 CF CLI (https://github.com/cloudfoundry/cli#downloads) 。 


2) 纯 载 | 日 版 本 的 CF CLI， 命 令 如 下 : 


$ gem uninstall cf 


3) 在 Windows 下 安装 CF CLI。 解 压缩 安装 包 ， 双 击 “CF CLI” 安 装 文件 ， 执 行 安装 。 


4) 在 Mac OS/Linux 下 安装 CF CLI。 打 开 .pkg 文 件 ， 在 安装 帮助 页 面 上 单 击 “ 下 一 步 ” 按 钮 ， 选 定安 装 目 录 执行 安装 即 可 。 


5) 验证 CF CL 安装。 打开 命令 行 终端 ， 执 行 CF 命令 。 如 果 安 装 成 功 ， 则 会 显示 CF CLI 的 使 用 帮助 。 


(2) 开发 /部 署 应 用 程序 


1) 开发 应 用 程序 。 可 以 采用 Java、JS、Ruby 等 多 种 语言 快速 开发 Web 应 用 程序 。https://github.com/cloudfoundry-samples 中 给 出 了 不 同 编程 语言 开发 的 应 用 程序 。 


in 


2) 部 署 应 用 程序 。 将 应 用 程序 打包 (例如 ，jar、war 等 ) ， 或 者 进入 到 应 用 程序 目录 ， 执 行 以 下 命令 : 


$ cf api api.<YOUR SYSTEM DOMAIN» 
$ cf login # credential 信 息 可 在 部 署 文 件 中 的 properties.uaa.scim.users 中 获取 。 
$ cf push YOUR APP NAME # 此 过 程 中 会 要 求 客户 输入 部 署 APP 所 处 的 org/space 位 置 、 内 存 大 小 等 。 


em 


部 署 成 功 后 ， 可 在 控制 台中 看 到 如 下 信息 : 


$ cf push my-app 

Creating app my-app in org example-org / space development as a.user@example. 
comhttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/0EBPS/Text/... 

OK 


Creating route my-app.example.comhttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/OEBPS/Text/... 
OK 


Binding my-app.example.com to my-apphttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/OEBPS/Text/... 


Uploading my-apphttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/OEBPS/Text/... 
Uploading app: 560.1K, 9 files 
OK 


Starting app my-app in org example-org / space development as a.user@example. 
comhttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/0EBPS/Text/... 
cmm > Downloaded app package (552K) 


--» Using Ruby version: ruby-1.9.3 

--» Installing dependencies using Bundler version 1.3.2 
Running: bundle install --without development:test --path 

vendor/bundle --binstubs vendor/bundle/bin --deployment 

Installing rack (1.5.1) 
Installing rack-protection (1.3.2) 
Installing tilt (1.3.3) 
Installing sinatra (1.3.4) 
Using bundler (1.3.2) 
Updating files in vendor/cache 
Your bundle is complete! It was installed into ./vendor/bundle 
Cleaning up the bundler cache. 

———— > Uploading droplet (23M) 


1 of 1 instances running 
App started 


Showing health and status for app my-app in org example-org / space development 
as a.user@example.comhttp: //www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/OEBPS/Text/... 
OK 


requested state: started 
instances: 1/1 
usage: 1G x 1 instances 
urls: my-app.example.com 
state since cpu memory disk 
#0 running 2014-01-24 05:07:18 PM 0.0% 18.5M of 1G 52.5M of 1G 


3) 验证 应 用 程序 。 应 用 程序 部 署 完成 后 ， 可 以 通过 “cf apps” 命 令 查看 程序 的 运行 状况 ， 在 浏览 器 中 输入 URL 即 可 访问 应 用 程序 。 


$ cf apps 
Getting apps in org cloudops / space cloudops as adminhttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/OEBPS/Text/... 
OK 


name requested state instances memory disk urls 
my-app started 1/1 1G 1G  my-app.cfapps.io 
cf-test started 1/1 128M 128M cf-test.cfapps.io 


Cloud Foundry 提 供 了 强大 的 日 志 分 析 功能 ， 可 以 通过 日 志 来 追踪 应 用 程序 是 否 正常 运行 。 


$ cf logs YOUR APP NAME --recent 


(3) 验证 APP 可 和 否 访问 


如 果 部 署 的 应 用 程序 可 以 正常 访问 ， 则 表明 Cloud Foundry 已 安装 成 功 。 


7.2 ”基于 OpenStack 的 安装 


7.2.1 安装 的 先决 条 件 


1. 安 装 BOSH 命 令 行 工 具 (BOSH CLI) 


首先 ， 需 安装 BOSH 命 令 行 工具 ， 命 令 如 下 : 


$ gem install bosh cli bosh cli plugin micro --no-ri --no-rdoc 


如 在 安装 过 程 中 遇 到 问题 ， 可 以 访问 以 下 页 面 进行 错误 探查 : http://bosh.io/docs/bosh-cli.html#troubleshooting. 


2. 验 证 Openstack 环 境 


在 部 署 BOSH 和 Cloud Foundry 之 前 ， 用 户 需 要 确认 OpenStack 的 环境 设置 符合 部 署 要 求 。 目 前 Cloud Foundry 的 部 署 已 支持 Folsom/Grizzly/Havana 版 本 的 OpenStack。 


以 下 列 出 了 在 OpenStack 平 台 安装 运行 BOSH 所 需要 的 一 系列 环境 设 


， 缺 失 任意 一 项 将 会 导致 5OSH 运 行 失败 。 用 户 可 以 参 


考 https://docs.cloudfoundry.org/deploying/openstack/troubleshooting.html 来 获取 更 多 的 诊断 信息 。 


(1) 可 以 正确 访问 OpenStack API 


需要 确认 可 以 通过 Credentials 来 调用 OpenStack API。Credentials 包 括 用 户 名 称 、 密 码 ， 以 及 OpensStack 的 租户 信息 和 区 域 等 。 创 建 ~/.fog 文 件 并 输入 如 下 内 容 : 


:openstack: 
:openstack auth url: http://HOST IP:5000/v2.0/tokens 
:openstack api key: PASSWORD ` 
:openstack username: USERNAME 
:openstack tenant: PROJECT NAME 
:openstack region: REGION # Optional 


在 命令 行 终端 安装 fog 库 ， 执 行 如 下 命令 : 


$ gem install fog 
$ fog openstack 
»» Compute[:openstack].servers 


[表示 返回 的 Ruby 数 组 ， 可 能 会 得 到 Openstack 多 个 可 供 该 租户 配置 的 服务 器 。 


注意 : 推荐 采用 专用 的 OpenStack 账 户 来 部 署 BOSH 和 Cloud Foundry， 这 样 可 以 更 好 地 追踪 服务 器 、 卷 、 安 全 组 以 及 网 络 设置 等 信息 。 


(2) 可 以 从 虚拟 机 上 正确 访问 Openstack 的 元 数据 服务 (metadata service) 


根据 OpenStack 帮 助 文档 ，OpenStack 使 用 特殊 的 元 数据 服务 来 使 虚拟 机 获取 实例 的 特定 元 信息 。BOSH 通 过 元 数据 服务 来 获取 OpenStack 所 有 虚拟 机 的 实例 信息 ， 这 些 虚 拟 机 由 BOSH Director 创 


在 OpenStack Dashboard 中 创建 一 台 虚 拟 机 并 登录 到 控制 台 页 面 ， 执 行 以 下 命令 : 


$ curl http://169.254.169.254 
1.0 


2007-01-19 
2007-03-01 
2007-08-29 
2007-10-10 
2007-12-15 
2008-02-01 
2008-09-01 
2009-04-04 


户 需要 保证 所 有 的 OpenStack 虚 拟 机 均 可 以 通过 http://169.254.169.254 访 问 元 数据 服务 。 


如 果 用 户 可 以 获取 一 系列 时 间 信 息 ， 则 表示 元 数据 服务 可 


(3) 确保 虚拟 机 之 间 可 以 互相 通信 


NATS 服 务 而 导致 Cloud Foundry 无 法 正确 运行 。 


执行 以 下 步骤 确保 虚拟 机 之 间 可 互相 通信 : 


D 


此 时 列表 规则 为 空 ， 单 击 “Add Rule" , 


5) 选择 Custom ICMP Rule 作 为 Rule。 


1) 打开 OpenStack Dashboard， 单 击 “Access&Security” 菜单。 


， 否 则 应 根据 文档 探查 原 


Cloud Foundry 运 行 时 需要 OpenStack 环 境 中 的 各 个 虚拟 机 可 以 相互 通信 。 如 果 虚 把 


2) 单 击 “Create Security Group" , 创建 名 为 “ping-test” 的 security group. 


3) 在 security groups 中 选取 “ping-test”， 单 击 “Edit Rules" , 


机 之 间 的 网 络 连接 存在 问题 ， 那 么 即使 BOSH 可 以 为 Cloud Foundry 创 建 虚拟 机 ， 这 些 虚拟 机 也 由 了 


无 法 正确 协调 


6) 输入 -1 作为 Type。 
7) 输入 -1 作为 Code。 
8) 选择 Security Group 作为 Remote。 


9) 选择 ping-test 作 为 Security Group。 


10) 单 击 Add 完 成 添加 。 


在 Openstack Dashboard 上 创建 两 个 虚拟 机 ， 并 将 这 两 个 虚拟 机 均 设置 到 ping-test 的 安全 组 中 。 登 录 其 中 一 个 虚拟 机 的 终端 ， 向 另 一 个 虚拟 机 的 IP 发 送 ping 命 令 ， 确 保 可 以 收 到 正确 的 返回 值 : 


$ ping 172.16.1.2 

PING 172.16.1.2 (172.16.1.2) 56(84) bytes of data. 

64 bytes from 172.16.1.2: icmp seq-1 ttl=64 time=0.095 ms 
64 bytes from 172.16.1.2: icmp seq-2 ttl-64 ti .048 ms 
64 bytes from 172.16.1.2: icmp seq-3 ttl-64 time-0.080 ms 


http: //www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/OEBPS/Text/... 


(4) 确保 可 以 支持 大 量 的 API 调 


OpenStack 可 能 会 对 API 的 调用 次 数 加 以 限制 ， 这 会 引起 BOSH 针 对 OpenStack 的 请 求 失败 。 可 以 采用 以 下 命令 来 确定 API 调 


做 了 限制 : 


$ gem install fog 
$ fog openstack 
>> 100.times ( p Compute[:openstack].servers } 


限制 是 否 启用 ， 如 果 收 到 413 HTTP 返 回 值 ， 则 表示 OpenStack 对 API 调 


可 以 在 localrc 中 添加 以 下 命令 来 消除 API 调 用 限制 : 


API RATE LIMIT-False 


(5) 确保 可 以 挂 载 大 容量 卷 组 


devstack 版 本 的 OpenStack 默 认 只 挂 载 很 小 的 卷 组 (5G) ， 那 么 在 部 署 Cloud Foundry 时 会 遇 到 超过 卷 组 配额 这 一 问题 ， 


可 采用 以 下 步骤 来 配置 大 容量 卷 组 : 


1) 登录 到 OpenStack Dashboard, 


N 
m 
pus 


Bit "Volumes" 菜单 。 


3) HE "Create Volume" 按钮 。 


4) 输入 “Test Volume” 作 为 卷 组 名 称 。 


5) 输入 30 (GB) 作为 卷 组 大 小 。 


6) 单 击 “Create Volume” 按 钮 ， 创 建 的 卷 组 将 会 显示 在 volumes 列 表 中 。 


如 果 创 建 的 卷 组 显示 Error 状 态 ， 则 需要 查看 OpenStack Cinder Service 是 否 配置 正确 。 
可 以 通过 以 下 步骤 验证 卷 组 是 否 能 正确 地 挂 载 到 OpenStack 虚 拟 机 实例 : 
1) 在 OpenStack Dashboard 上 创建 一 个 虚拟 机 。 


2) 返回 至 Volumes 页 面 ， 选 择 "find Test” 卷 组 ， 单 击 “Edit Attachments" , 


3) Œ "Attach to Instance” 页 面 选择 创建 好 的 虚拟 机 。 


4) f£ "Attach Field” 中 输入 “/dev/vdb”。 


5) 进入 虚拟 机 的 终端 ， 执 行 fdisk 命 令 来 创建 分 区 : 


此 需 


保证 Openstack 可 以 挂 载 大 容量 的 卷 组 。 


$ sudo fdisk -1 

Disk /dev/vdb: 32.2 GB, 32212254720 bytes 

16 heads, 63 sectors/track, 62415 cylinders, total 62914560 sectors 
Units = sectors of 1 * 512 = 512 bytes 

Sector size (logical/physical): 512 bytes / 512 bytes 

I/O size (minimum/optimal): 512 bytes / 512 bytes 

Disk identifier: 0x00000000 

Disk /dev/vdb doesn't contain a valid partition table 


创建 主 分 区 如 下 : 


$ sudo fdisk /dev/vdb 
Command (m for help): n 
Command action 

e extended 

p primary partition (1-4) p 
Partition number (1-4): 1 
First cylinder (1-62415, default 1): ENTER 
Using default value 1 
Last cylinder or «size or +sizeM or *sizeK (1-62415, default 62415) :ENTER 
Command (m for help): t 
Partition number (1-4): 2 
Hex code (type L to list codes): 83 
Changed system type of partition 2 to 83 
Command (m for help): w 


创建 文件 系统 ， 挂 载 磁盘 至 虚拟 机 的 目录 下 ， 命 令 如 下 : 


$ sudo mkfs.ext3 /dev/vdb 


$ sudo mkdir /disk 
$ sudo mount -t ext3 /dev/vdbl /disk 


确认 可 以 在 新 挂 载 的 磁盘 上 读 写 文件 ， 命 令 如 下 : 


cd /disk 
sudo touch pla 


如 果 是 在 运行 OpenStack devstack， 需 要 在 localrc 中 添加 如 下 配置 : 
VOLUME BACKING FILE SIZE-70000M 


(6) 确保 可 以 上 传 部 署 Ubuntu 14.0464-bit Server Cloud Image 


BOSH 使 用 Stemcell 作 为 部 署 在 各 种 云 服 务 上 虚拟 机 实例 的 基础 模板 。 对 于 Open-Stack，BOSH Stemcell 基 于 Ubuntu 14.0464-bit Server。 因 此 ， 需 要 确保 可 以 正确 地 将 此 image 上 传 到 OpenStack 
的 Glance Image Service 服 务 中 。 类 似 地 ， 如 果 无 法 通过 SSH 协 议 连 接 到 从 此 image 构 建 的 虚拟 机 ，Cloud Foundry 的 部 署 也 会 出 现 问题 。 


为 了 验证 OpenStack 是 否 与 Ubuntu 14.0464-bit Server 兼 容 ， 首 先 需要 下 载 此 image， 然 后 以 image 为 模板 在 OpenStack 上 创建 虚拟 机 。 


1) 登录 到 OpenStack Dashboard。 


2) 在 左边 的 菜单 列表 中 单 击 “lImages&Snapshots” 按 钮 。 


3) 单 击 “Create Image” 按 钮 。 


4) 输入 Ubuntu Server 64-bit 作 为 名 称 。 
5) 输入 http://cloud-images.ubuntu.com/lucid/current/lucid-server-cloudimg-amd64-disk1.img 作 为 iImage 地 址 。 
6) 选择 QCOW2-QEMU Emulator 作 为 格式 。 


7) 输入 5GB 作 为 最 小 磁盘 值 。 


8) 输入 1024MB 作 为 最 小 内 存 值 。 


9) 单 击 “Create Image" 按钮 。Image 下 载 创建 完毕 后 ， 以 此 Image 为 模板 创建 一 个 虚拟 机 ， 并 测试 是 否 可 以 SSH 登 录 该 虚拟 机 。 


(7) 确保 网 络 配置 正确 


BOSH 假 定 虚拟 机 会 连接 到 两 个 不 同 的 虚拟 网 络 。 一 个 为 内 部 网 络 ， 只 能 访问 此 网 络 内 的 虚拟 机 ; 另 一 个 网 络 为 外 部 网 络 ， 可 以 允许 虚拟 机 访问 外 部 公共 网 络 。 对 于 用 户 界面 ， 这 些 外 部 IP 被 称 为 浮动 
IP (floating IP) ， 因 为 它们 可 以 被 动态 地 分 配 到 不 同 的 虚拟 机 。 


为 了 确保 浮动 IP 能 被 正确 分 配 ， 可 执行 以 下 步骤 : 


1) 选择 任意 一 个 虚拟 机 ， 单 击 “More” 按 钮 ， 即 可 展现 出 一 个 操作 列表 。 


2) 选择 “Associate Floating IP" , 


3) 选择 任意 一 个 外 部 IP， 将 其 绑 定 到 虚拟 机 上 。 如 果 外 部 IP 不 存在 ， 可 以 通过 点 击 (+) 按钮 来 申请 。 


4) 点 击 Associate。 


浮动 |P 绑 定 到 虚拟 机 上 并 不 意味 着 网 络 已 经 被 正确 配置 ， 还 需要 确保 虚拟 机 可 以 访问 该 外 部 |P， 这 样 在 Cloud Foundry 运 行 时 虚拟 机 才 可 以 接收 或 发 出 网 络 请 求 。 
为 已 经 绑 定 IP 的 虚拟 机 创建 一 个 安全 组 security group， 方 法 如 下 : 

1) 打开 OpenStack Dashboard， 单 击 “Access&Security”。 

2) 单 击 “Create Security Group”， 创 建 一 个 名 为 cidr-ping-test 的 安全 组 。 


3) 选择 安全 组 cidr-ping-test， 单 击 Edit Rulesbutton。 


4) 单 击 “Add Rule” , 
5) 选择 ICMP 作 为 Protocol。 
6) 输入 -1 作为 Type。 


7) 输入 -1 作为 Code。 


8) 选择 CIDR 作 为 Source。 


9) 输入 0.0.0.0/0 作 为 CIDR 的 值 。 


10) 单 击 Add， 完 成 创建 。 
接 下 来 ， 将 虚拟 机 添加 到 所 创建 的 安全 组 中 


1) 选中 虚拟 机 ， 单 击 “More” 按钮 。 


2) 单 击 “Edit Security Groups” 按 钮 。 


3) 找到 cidr-ping-test 安 全 组 ， 单 击 click (+) 将 此 安全 组 绑 定 到 虚拟 机 上 。 


假设 虚拟 机 的 外 部 IP 是 9.9.8.7， 执 行 ping 命 令 来 测试 网 络 是 否 联 通 : 


$ ping 9.9.8.7 

PING 9.9.8.7 (9.9.8.7) 56(84) bytes of data. 

64 bytes from 9.9.8.7: icmp | seq=1 ttl-64 time=0.095 ms 

64 bytes from 9.9.8.7: icmp seq-2 ttl-64 time-0.048 ms 

64 bytes from 9.9.8.7: icmp seq-3 ttl-64 time-0.080 ms 

http: //www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/OEBPS/Text/... 


(8) 确保 虚拟 机 可 以 访问 互联 网 


登录 到 任意 一 台 虚 拟 机 的 控制 台 终 端 ， 执 行 以 下 命令 ， 如 果 能 获得 以 下 返回 输出 ， 则 表示 可 以 访问 外 部 互联 网 : 


$ curl google.com 

http: //www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/OEBPS/Text/... 
<H1>301 Moved</H1> T 

The document has moved 

http: //www.hzcourse.com/resource/readBook?path=/openresources/teach_ebook/uncompressed/16515/OEBPS/Text/... 


如 果 是 运 和 


于 devstack 的 OpenStack， 请 采用 ifconfig 命 


令 检 查 网 关 设置 ， 确 保存 在 eth0 和 eth1。 如 果 只 拥有 eth1， 需 要 在 localrc 文 件 中 添加 如 下 内 容 : 


PUBLIC INTERFACE-ethl 
FLAT INTERFACE-ethO 


7.2.2 部 署 Cloud Foundry 


1. 创 建 Cloud Foundry 的 安全 组 


Openstack 提 供 安全 组 (Security Groups) 策略 来 对 流量 导入 服务 器 进行 限制 。 以 下 例子 罗列 了 Cloud Foundry 部 署 运 行 时 所 需要 的 安全 组 。 


: SSH 


SSH 下 需要 的 安全 组 如 下 表 所 示 : 


Egress LIE | w | = 
Ingress — m | e | a 
+ cf-public 


cf-public 下 需要 的 安全 组 如 下 所 示 : 


Direction 
Ingress 
* cf-private 


cf-private 下 需要 的 安全 组 如 下 所 示 : 


Egress m ee — 
Egress 一 ao | 364 


2. 部 署 Micro BOSH 


(1) 创建 部 署 文件 


Micro BOSH 的 部 署 文件 为 YAML 格 式 ， 其 定义 了 待 安装 的 组 件 以 及 运行 时 需要 的 属性 值 。 


Remote 
0.0.0.0/0 (CIDR) 
0.0.0.0/0 (CIDR) 
0.0.0.0/0 (CIDR) 
::/0 (CIDR) 
0.0.0.0/0 (CIDR) 


Remote 
0.0.0.0/0 (CIDR) 
0.0.0.0/0 (CIDR) 
0.0.0.0/0 (CIDR) 
0.0.0.0/0 (CIDR) 
0.0.0.0/0 (CIDR) 
::/0 (CIDR) 


Remote 
::/0 (CIDR) 
0.0.0.0/0 (CIDR) 
0.0.0.0/0 (CIDR) 
BOSH 
0.0.0.0/0 (CIDR) 


1) 创建 一 个 本 地 目录 存储 部 署 文件 ， 命 令 如 下 : 


$ mkdir ~/my-micro-deployment 


2) 创建 部 署 文件 。 


以 下 文件 为 Micro BOSH 的 部 署 文件 模板 ， 只 需 复制 后 修改 其 中 相应 的 参数 值 ， 即 可 获取 相应 的 部 署 文 件 。 模 板 文件 中 需要 修改 NETWORK-UUID、SUBNET-POOL-IP-ADDRESS、FLOATING- 
IP、OPENSTACK-PASSWORD、IDENTITY-API-ENDPOINT、OPENSTACK-TENANT， 以 及 OPENSTACK-USERNAME 等 参数 值 。 


name: microbosh 
network: 
type: manual 
vip: FLOATING-IP # Replace with a floating IP address 
ip: SUBNET-POOL-IP-ADDRESS # Replace with an address from the subnet IP address allocation pool of your Open 
cloud_properties: 
net id: NETWORK-UUID # Replace with your OpenStack internal network UUIDresources: 
persistent disk: 20000 
cloud properties: 
instance type: ml.xlargecloud: 
plugin: openstack 
properties: 
openstack: 
auth url: IDENTITY-API-ENDPOINT # Replace with your OpenStack Identity API endpoint 
tenant: OPENSTACK-TENANT 4 Replace with OpenStack tenant name 
username: OPENSTACK-USERNAME # Replace with OpenStack username 
api key: OPENSTACK-PASSWORD 4 Replace with your OpenStack password 
default key name: microbosh # OpenStack Keypair name 
private key: microbosh.pem # Path to OpenStack Keypair private key 
default security groups: [bosh]apply spec: 
properties: 
director: (max threads: 3) 
hm: {resurrector enabled: true} 
ntp: [0.north-america.pool.ntp.org, 1.north-america.pool.ntp.org] 


(2) 设置 OpenStack 环 境 
1) 先决 条 件 。 
@Micro BOSH 和 Cloud Foundry 支 持 如 下 发 布 版 本 的 OpenStack: 
* Havana 
- Icehouse 
- Juno 
@ 以 下 Openstack 服 务 需要 运行 正常 : 
“ Identity: Micro BOSH 可 以 进行 安全 认证 ， 并 可 访问 OpenStack 服 务 的 endpoint URL. 
: Compute: Micro BOSH 可 以 创建 虚拟 机 ， 绑 定 虚 拟 机 浮动 IP， 对 虚拟 机 绑 定 和 解 绑 磁盘 卷 组 。 
+ Image: Micro BOSH 可 以 利用 Image 服 务 存储 构建 Stemcell。 
CTit) OpenStack Networking: 当 部 署 复杂 的 分 布 式 系统 时 ， 提 供 网 络 扩展 功能 。 
需要 以 下 OpenStack 网 络 环境 : 
“ 一 个 可 以 访问 外 部 互联 网 的 子 网 。 
:一 个 内 部 网 络 子 网 ， 同 时 需要 绑 定 IP 连 接 池 。 
@ 需 要 创建 新 的 OpenStack 工 程 。 


2) 创建 Keypair。 


网 


在 导航 面板 中 选择 “Access&Security”。 之 后 ， 选 择 “Keypairs”， 单 击 “Create Keypair”， 如 


7-12 所 示 。 


Access & Security 


Keypairs 


Manage Compute Keypairs 


Keypair Name 


Manage Network 
图 7-12 ”创建 Keypair 


将 Keypair 命 名 为 “microbosh”， 单 击 “Create Keypair" , 


Create Keypair 


Keypair Name * Description: 
microbosh Keypairs are ssh credentials which are injected into 
images when they are launched. Creating a new key 
pair registers the public key and downloads the 
private key (a .pem file). 


Protect and use the key as you would any normal 
ssh private key. 


Cancel Create Keypai 


7-13 ”为 Keypair 命 令 


将 microbosh.pem 文 件 保存 到 之 前 创建 的 本 地 部 署 目 录 mv~/Downloads/bosh.pem~/my-micro-deployment/microbosh.pem。 


3) 创建 并 配置 安全 组 。 

安全 组 策略 可 以 用 来 对 进入 BOSH 虚 拟 机 的 流量 加 以 控制 。 以 下 步骤 为 创建 BOSH 安 全 组 。 
@ 在 导航 面板 中 选择 “Access&security”。 

@ 选 中 “Security Groups tab”， 单 击 “Create Security Group" , 

@@ 将 安全 组 命名 为 “BOSH” 并 添加 描述 信息 ， 单 击 “Create Security Group”。 

@ 选 中 BOSH 安 全 组 ， 单 击 “Edit Rules”， 单 击 "Add Rule" , 


@@ 在 BOSH 安 全 组 中 加 入 图 7-14 所 示 的 规则 。 


[ mes | ima | vw | 6 ooon - 
Les | a | ay | [eene - 
Les | me | w | oocm — -— 


4) 申请 外 部 浮动 IP。 


@ 在 导航 面板 中 选择 “Access&Security”。 


@ 选 择 “Floating IPs tab”， 单 击 “Allocate IP to Project" , 


@ 在 Pool 列 表 中 选择 External 选 项 。 


@ 单 击 “Allocate IP”， 如 图 7-15 所 示 。 


Allocate Floating IP 


Pool * 


i: external 


@ 在 部 署 文 件 中 用 申请 的 浮动 |P 来 蔡 换 Floating IP， 如 图 7-16 所 示 。 


(3) 下 载 Stemcell 


图 7-14 ”在 BOSH 安 全 组 中 添加 的 规则 


Description: 
Allocate a floating IP from a given floating IP pool. 


Project Quotas 
Floating IP (0) 


图 7-15 ”分 配 浮动 IP 


1) 打开 https://bosh.io/stemcells 页 面 ， 根 据 操作 系统 、1aaS 类 型 等 信息 选择 Stemcell。 


2) 选中 某 一 版 本 的 Stemcell 后 ， 选 择 支 持 OpenStack 的 版 本 进行 下 载 。 


Settings 


Access & Security 


Floating IPs 


Floating IPs Allocate IP To Project a 
IP Address Floating IP Pool Actions 
173.247.112.79 external Associate 


Displaying 1 tem 


图 7-16 ”浮动 IP 
(4) 部 署 Micro BOSH 


在 命令 行 终端 ， 执 行 bosh micro deployment microbosh.yml，microbosh.yml 即 为 创建 的 部 署 文件 。 


$ cd ~/my-micro-deployment 

$ bosh micro deployment manifest.yml 

WARNING! Your target has been changed to https://173.81.16.12:25555! 
Deployment set to ~/my-micro-deployment/manifest.yml 


执行 bosh micro deploy stemcell-name 命 令 进行 Micro BOSH 的 部 署 ，stem-c-ell-name 即 为 下 载 的 stemcell。 


$ bosh micro deploy bosh-stemcell-3012-openstack-kvm-ubuntu-trusty-go : agent.tgz 

No 'bosh-deployments.yml' file found in current directory. 

Is ~/my-micro- deployment a directory where you can save state? (type 'yes' to continue): yes 

Deploying new micro BOSH instance -/my-micro-deployment/manifest.yml to 'https://173.81.16.12:25555' (type ' yes 
Started deploy micro bosh 
http: //www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/OEBPS/Text/... 
Done deploy micro bosh T 

Deployed '~/my-micro-deployment/manifest.yml' to 'https://173.81.16.12:25555', took 00:04:51 to complete 


执行 bosh target floating-ip-address 登 录 到 MicroBOSH 服 务 器 上 ， 默 认 用 户 名 和 密码 均 为 admin。 


$ bosh target 173.81.16.12 
Target set to 'microbosh' Your username: admin 
Enter password: ***** Logged in as 'admin' 


$ bosh vms 
No deployments 


3.8 Cloud Foundry 


(1) 先决 条 件 


1) 安装 BOSH 命 令 行 工具 BOSH CLI, 


2) 确认 OpenStack 包 括 以 下 4 种 默认 的 选择 : m1.small、m1.medium、m1.large 和 m1.xlarge， 如 图 7-17 所 示 。 


OpenStack Flavor Name RAM (GB) | Disk (GB) | Ephemeral Disk (GB) 


[ine ip 8 o9 [9 — 
[tage |) s | 1 | 1 | 3e | 


图 7-17 OpenStack 的 选择 


3) 申请 一 个 外 部 互联 网 |P， 将 用 户 的 DNS 的 * 选 项 与 此 IP 绑 定 。 比 如 ， 用 户 采 用 mycloud.com 域 名 作为 基础 域名 ，526731;jpg 需 要 将 *mycloud.com 与 |P 进 行 映射 绑 定 。 


4) 创建 安全 组 cf， 配 置 安全 规则 如 下 : 
+ 允许 处 于 cf 安全 组 的 虚拟 机 可 以 互相 访问 所 有 端口 号 。 


+ 开放 端口 22 用 于 SSH 访 问 。 


“ 开放 端口 80 用 于 HTTP 访 问 。 


(2) 连接 BOSH Director 


执行 bosh target«director ip> 命 令 连接 BOSH Director， 登 录 名 和 密码 默认 为 admin。 


$ bosh target https://192.168.109.81:25555 
Target set to "bosh' 

Your username: admin 

Enter password: ***** 

Logged in as 'admin' 


执行 bosh status 命 令 来 获取 BOSH Director 的 UUID， 此 ID 将 


于 Cloud Foundry 的 部 署 文件 : 


$ bosh status 


Config 
/home/me/.bosh config 
Director 
Name bosh openstack 
URL https://192.168.109.81:25555 
Version 1.2710.0 (00000000) User admin 
UUID abcdef12-3456-7890-abcd-ef1234567890 
CPI openstack 
dns enabled (domain name: bosh) 


compiled package cache disabled 
snapshots disabled 

Deployment 
not set 


(3) .Ef&Stemcell 


1) 打开 https://bosh.io/stemcells 页 面 ， 根 据 操作 系统 、laaS 类 型 等 信息 选择 stemcell。 选 中 某 一 版 本 的 Stemcell 后 ， 选 择 支持 OpenStack 的 版 本 进行 下 载 。 


2) 执行 bosh upload stemcell stemcell-name 上 传 stemcell 至 BOSH Director。 


$ bosh upload stemcell ./bosh-stemcell-2754-openstack-kvm-ubuntu-trusty-go agent.tgz 


(4) 创建 部 署 文件 


本 节 将 介绍 如 何 创建 基于 OpenStack 的 Cloud Foundry 的 部 署 根 文件 (stub file) ， 之 后 用 户 可 以 采 上 


cf-release 的 脚本 文件 scripts/generate_deployment_manifest 生 成 最 终 的 部 署 文 件 。 


保存 以 下 模板 文件 ， 蔡 换 相应 的 参数 即 可 得 到 基于 OpenStack 的 Cloud Foundry 的 部 署 根 文件 ， 待 替换 的 参数 解释 可 参照 https://docs.cloudfoundry.org/deploying/openstack/cf-stub- 


openstack.html#editing。 


director_uuid: DIRECTOR_UUID 
meta: 
openstack: 
net_id: net_id 
auth_url: auth_url 
tenant: openstack_tenant 
username: openstack_username 
api key: openstack api key 
security groups: [] 
floating static ips: 
- 0.0.0.0 
networks: 
- name: cfl 
subnets: 
- cloud properties: 
static: 
- 0.0.0.0 - 0.0.0.26 
properties: 
eas 
droplets: 
droplet directory key: the key 
buildpacks: E = 
buildpack_directory key: bd_key 
staging upload user: username 
staging upload password: password 
bulk api password: password 
db encryption key: the key 
ccdb: ~ T 
roles: 
- name: ccadmin 
password: admin password 
tag: admin 
databases: 
roles: 
- name: ccadmin 
password: ccadmin password 
- name: uaaadmin ` 
password: uaaadmin password 
dea next: 
disk mb: 2048 
memory mb: 1024 
domain: example.com 
loggregator endpoint: 
Shared secret: loggregator endpoint secret 
nats: 
user: nats user 
password: nats password 
router: 
logrotate: 
freq min: 20 
rotate: 5 
size: 3M 
enable_ssl: true 
ssl_cert: | 
<RSA Public Key> 
ssl key: | 
<RSA Private Key» 


cipher suites: TLS RSA WITH RC4 128 SHA:TLS RSA WITH AES 128 CBC SHA 


status: 
user: router user 
password: router password 
login: 
logout: 
redirect: 
url: "/login?template-openstack" 
uaa: 
admin: 
client secret: admin secret 
cc: T ~ 
client_secret: cc_client_secret 
clients: 
app-direct: 
secret: app-direct_secret 
developer_console: ~ 


secret: developer console secret 
notifications: 本 T 
secret: notification_secret 
login: 
secret: login client_secret 
doppler: 
secret: doppler_secret 
cloud controller_username_lookup: 
secret: cloud controller username lookup secret 
cc routing: ial 
secret: cc_routing_secret 
gorouter: ` " 
Secret: gorouter secret 
database: 
max connections: 100 
max idle connections: 10 
remove abandoned: true 
abandoned timeout: 600 
log abandoned: true 
jwt: 
verification key: vk 
signing key: sk 


scim: 
users: 
-admin | fakepassword|scim.write, scim. read, openid, cloud_controller.admin, doppler. firehose 
uaadb: 
roles: 


- name: uaaadmin 
password: admin password 
tag: admin 


(5) 部 署 Cloud Foundry 


1) 下 载 cf-release GitHub 目 录 ， 更 新 submodules。 


$ git clone https://github.com/cloudfoundry/cf-release.git 
$ cd cf-release 
$ ./scripts/update 


2) 安装 spiff (https://github.com/cloudfoundry-incubator/spiff) 。 


3) 执行 scripts/generate_deployment_manifest 生 成 最 终 的 CF 部 署 文件 。 


$ ./scripts/generate deployment manifest openstack cf-stub.yml > cf-deployment.yml 


4) 指定 BOSH Director, 


$ bosh target 
Current target is https://192.168.109.81:25555 


5) 指定 Cloud Foundry 部 署 文件 。 


$ bosh deployment cf-deployment.yml 


6) 上 传 CF release 至 BOSH Director。 


$ bosh upload release ~/cf-release/releases/cf-<latest-version>.yml 


部 署 Cloud Foundry release， 此 步骤 大 约 耗 时 2 小 时 左右 。 


$ bosh deploy 


执行 curl 命 令 验证 Cloud Foundry 的 API endpoint 是 否 可 访问 ， 若 成 功 则 会 返回 JSON 格 式 的 返回 信息 ， 若 失败 请 检查 网 络 或 者 DNS 设 置 。 


$ curl api.subdomain.domain/info 


(6) 验证 部 署 


1) 利用 CF 命令 行 工 具 (CF CLI) 登录 Cloud Foundry， 登 录 名 和 密码 可 在 部 署 文件 中 获取 (uaa:scim:users) 。 


2) 执行 bosh vms 命 令 ， 打 印 出 BOSH 控 制 的 所 有 Cloud Foundry 的 虚拟 机 实例 信息 ， 包 括 运行 服务 、IP 地 址 、 运 行 状态 等 。 


$ bosh vms 


+----------------------------- +--------- +------------------ +--------------- 
| Job/index | State | Resource Pool | IPs 

$----------------------------- 4--------- +------------------ +--------------- 
| nfs server/e | running | nfs server | 10.146.21.174 
| ccdb/e | running | ccdb | 10.146.21.175 
| cloud controller/e | running | cloud controller | 10.146.21.176 
| collector/@ | running | collector | 10.146.21.178 
| health manager/e | running | health manager | 10.146.21.173 
| nats/@ | running | nats | 10.146.21.172 
| router/@ | running | router | 10.146.21.171 
| syslog/@ | running | syslog | 10.146.21.177 
| uaa/@ | running | uaa | 10.146.21.180 
| uaadb/@ | running | uaadb | 10.146.21.179 
| dea/@ | running | dea | 10.146.21.181 
| saml login/e | running | saml login | 10.146.21.181 
$----------------------------- 4--------- $o----------------- $--------------- 


7.3 ”基于 vSphere 的 安装 


7.3.1 安装 的 先决 条 件 


1 .硬件 要 求 
Cloud Foundry 需 要 一 台 ESXi 主 机 ， 从 而 在 vSphere 上 进行 安装 ， 关 于 安装 ESXi 5.5 的 硬件 要 求 请 参见 VMWare 的 相关 文档 : 
http://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalld=2052329 
Cloud Foundry 同 样 需要 vCenter 来 对 ESXi 进 行 管 理 ， 关 于 安装 vCenter 的 硬件 要 求 请 参见 如 下 文档 : 
http://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalld=2005086 
2. 最 低 配置 
安装 Cloud Foundry 的 ESXi 主 机 需要 如 下 最 低 配置 : 
+ 处 理 器 : 2 Physical CPU Cores 
- 内 存 空间 : 48 GB RAM 
+ 硬盘 空间 : 500GB 
“ 1 NIC (Network Interface Controller) 
3. 推 荐 配置 
+ 处 理 器 : 8 Physical CPU Cores 
:内存 空间 : 128 GB RAM 
:硬盘 空间 : 1 TB 


+ 2 NIC (Network Interface Controller) 


7.3.3 部 署 Micro BOSH 


本 节 将 介绍 如 何在 vSphere 环 境 下 部 署 Micro BOSH, 
1. 创 建部 署 文件 


1) Micro BOSH 的 部 署 文 件 为 YAML 格 式 ， 定 义 了 待 部 署 的 组 件 以 及 配置 参数 。 


2) 创建 一 个 本 地 目录 用 于 存储 部 署 文件 : 


$ mkdir ~/my-micro-deployment 


创建 YAML 格 式 的 部 署 文 件 ， 以 下 内 容 为 Micro BOSH 部 署 文件 的 模板 ， 用 户 在 使 用 时 需要 修改 相应 的 配置 。 


name: microbosh 


network: 
type: manual 
ip: 10.0.0.6 


netmask: 255.255.255.0 
gateway: 10.0.0.1 
dns: [10.0.0.2] 
cloud properties: 
name: VSPHERE-NETWORK-NAME 
resources: 
persistent disk: 20000 
cloud properties: 
ram: 4 096 
disk: 10 000 
cpu: 2 T 
cloud: 
plugin: vsphere 


properties: 
vcenters: 
- host: VCENTER-IP 
user: VCENTER-USER-NAME 
password: VCENTER-PASSWORD 


datacenters: 
- name: VSPHERE-DATACENTER-NAME 
vm folder: VSPHERE-VMS-FOLDER-NAME 
template folder: VSPHERE-TEMPLATES-FOLDER-NAME 


datastore pattern: VSPHERE-DATASTORE-NAME 
persistent datastore pattern: VSPHERE-DATASTORE-NAME 
disk path: VSPHERE-DISK-FOLDER-NAME 

allow mixed datastores: true 


clusters: 

— VSPHERE-CLUSTER-NAME 
agent: 

ntp: ["us.pool.ntp.org"] 


2. 配 置 vSphere 环 境 


可 以 采用 vSphere Web Client 来 创建 更 新 以 下 系统 资源 : 


- 用 vCentetr 的 IP (如 192.168.0.10) 替换 VCENTER-IP。 

+ 用 vCentet 的 登录 用 户 名 和 密码 替换 VCENTER-USER-NAME 和 VCENTER-PASS-WORD。 

+ 创建 datacenter， 用 datacentetr 的 名 称 替 换 VSPHERE-DATACENTER-NAME。 

* 在 datacenter 中 分 别 创建 用 于 保存 VM 和 stemcell 的 目录 (如 my-micro-vms，my-micto-templates) ， 并 用 其 名 称 替换 VSPHERE-VMS-FOLDER-NAME 和 VSPHERE-TEMPLATES-FOLDER-NAME。 
- 创建 datastore ， 用 datastote 的 名 称 替换 VSPHERE-DATASTORE-NAME。 

* 在 datastore 中 创建 一 个 目录 (如 my-micro-disks) 用 于 保存 disk 信 息 ， 并 用 此 目录 名 称 替 换 VSPHERE-DISK-FOLDERNAME。 

- 在 datacenter 下 创建 cluster， 用 clustetr 替 换 VSPHERE-CLUSTER-NAME。 


+ 在 datacentert 下 创建 network ， 用 netwotk 名 称 替 换 VSPHERE-NETWORK-NAME 。 


3. 下 载 Stemcell 


打开 https://bosh.io/stemcells 页 面 ， 根 据 操作 系统 、1aaS 类 型 等 信息 选择 Stemcell。 选 中 某 一 版 本 的 Stemcell 后 ， 选 择 支持 vSphere 的 版 本 进行 下 载 。 


4.283 Micro BOSH 


1) 执行 以 下 命令 指定 部 署 文件 : 


$ cd ~/my-micro-deployment 

$ bosh micro deployment manifest. yml 

WARNING! Your target has been changed to https://54.86.66.111:25555! 
Deployment set to -/my-micro-deployment/manifest.yml 


2) 执行 bosh micro deploy stemcell-name 命 令 部 署 Micro BOSH, 


$ bosh micro deploy bosh-stemcell-3012-vsphere-esxi-ubuntu-trusty-go agent.tgz 

No 'bosh-deployments.yml' file found in current directory. 

Is ~/my-micro-deployment a directory where you can save state? (type 'yes' to continue): yes 

Deploying new micro BOSH instance -/my-micro-deployment/manifest.yml to 'https://10.0.0.6:25555' (type 'yes' 
Started deploy micro bosh 

http://www .hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/OEBPS/Text/... 

Done deploy micro bosh 

Deployed '-/my-micro-deployment/manifest.yml' to 'https://10.0.0.6:25555', took 00:04:51 to complete 


3) 执行 bosh target 10.0.0.62$:8BOSH Director， 默 认 的 登录 名 和 密码 均 为 admin。 


$ bosh target 10.0.0.6 
Target set to 'microbosh' 
Your username: admin 
Enter password: ***** 
Logged in as 'admin' 

$ bosh vms 

No deployments 


7.3.3 ”部 署 Cloud Foundry 


本 节 介绍 如 何在 vSphere 环 境 下 采 


1 .先决 条 件 


安装 BOSH CLI， 命 令 如 下 : 


MicroBOSH 部 署 Cloud Foundry, 


$ gem install bosh cli --no-ri --no-rdoc 


2. 连 接 BOSH Director 


首先 需要 执行 bosh target 命 令 来 连接 BOSH Director (注意 


: Director 的 IP 即 为 Micro BOSHBSIP) ， 采 用 Micro BOSH 的 登录 名 和 密码 进行 登录 操作 : 


$ bosh target <DIRECTOR IP> 
Target set to "microbosh' 


$ bosh login 
Your username: 


admin 


Enter password: ***** 
Logged in as 'admin' 


3. 获 取 BOSH Director 的 UUID 


执行 bosh status 命 令 来 获取 BOSH Director 的 UUID， 此 UUID 将 用 于 Cloud Foundry 的 stub 文 件 之 中 。 


$ bosh status 


Config 
/home/me/.bosh config 
Director 
Name microbosh 
URL https://192.168.109.81:25555 
Version 1.2710.0 (00000000) 
User admin 
UUID abcdef12-3456-7890-abcd-ef1234567890 
CPI vsphere 
dns enabled (domain name: bosh) 
compiled package cache disabled 
snapshots disabled 
Deployment 
not set 
4. Ef&Stemcell 


“ https://bosh.io/stemcells 列 出 了 所 有 可 供 下 载 的 Stemcell 版 本 ， 针 对 vSphere 环 境 ， 选 择 最 新 版 本 的 Stemcell 进 行 下 载 。 


+ 执行 bosh upload stemcell stemcell-name 命 令 上 传 Stemcell 至 BOSH Director. 


$ bosh upload stemcell ./bosh-stemcell-2710-vsphere-esxi-ubuntu-lucid-go agent.tgz 


5. 创 建 Cloud Foundry 的 stub 文 件 


参照 以 下 模板 创建 Cloud Foundry 的 stub 文 件 cf-stub.yml: 


director uuid: DIRECTOR UUID 
networks: 
- name: cfl 
subnets: 
- cloud properties: 
static: 
- 0.0.0.0 - 0.0.0.26 
- name: cf2 
subnets: 
- cloud properties: 
static: 
- 0.0.1.0 - 0.0.1.26 
jobs: 
ha proxy zl: 
^ properties: 
ha proxy: 


disable http: true 


properties: 
cc: 
droplets: 
droplet directory key: t 
buildpacks: 
buildpack directory key: 
staging upload user: usern 
staging upload password: pi 
bulk api password: passwor 
db encryption key: the key 
dea next: 
disk mb: 2048 
memory mb: 1024 
loggregator endpoint: 
shared secret: loggreg: 
nats: 
user: nats user 
password: nats passwon 
router: 
logrotate: 
freq min: 20 
rotate: 5 
Size: 3M 
enable ssl: true 
ssl cert: | 
«CERTIFICATE» 
ssl key: | 
<RSA PRIVATE KEY» 


cipher suites: TLS RSA WITH RC4 128 SHA:TLS RSA WITH AES 128 CBC SHA 


status: 
user: router use 
password: router 
login: 
logout: 
redirect: 
parame 
di 
uaa: 
admin: 


he key 


bd key 
ame 
assword 


d 


ator endpoint secret 


d 


r 
| password 


ter: 


sable: false 


client secret: admin secret 


eas 
client secret: c 


C client secret clients: 


app-direct: 
secret: app-direct_secret 
developer_console: 
secret: developer console secret 
login: ui a 
secret: login_client_secret 
notifications: — ~ 
secret: notification_secret 
doppler: ~ 
secret: doppler secret 
cloud_controller_username_lookup: 
secret: cloud_controller_username_lookup_secret 
cc_routing: 
secret: cc_routing_secret 
gorouter: 
secret: gorouter_secret 
jwt: 
verification key: vk 
signing key: sk 
scim: 
users: 
-admin|fakepassword|scim.write, scim. read, openid, cloud_controller.admin, doppler. firehose 


6.484 Cloud Foundry 


1) 拷贝 cf-release GitHub 目 录 ， 命 令 如 下 : 


$ git clone https://github.com/cloudfoundry/cf-release.git 


2) 利用 scripts/update 更 新 cf-release 的 子 模块 : 


$ cd cf-release 
$ ./scripts/update 


3) 安装 spiff (https://github.com/cloudfoundry-incubator/spiff) 。 


4) 执行 scripts/generate_deployment_manifest 生 成 最 终 的 部 署 文件 : 


$ ./scripts/generate deployment manifest vsphere cf-stub.yml > cf-deployment.yml 


5) 指定 Cloud Foundry 的 部 署 文 件 : 


$ bosh deployment cf-deployment.yml 


6) 创建 并 上 传 Cloud Foundry 的 BOSH Release: 


$ bosh create release 
$ bosh upload release 


7) 部 署 Cloud Foundry， 此 步骤 大 约 耗 时 2 小 时 左右 : 


$ bosh deploy 


8) 执行 curl 命 令 验证 Cloud Foundry 的 API endpoint 是 否 可 访问 ， 若 成 功 则 会 返回 JSON 格 式 的 返回 信息 ， 若 失败 请 检查 网 络 或 者 DNS 设置 : 


$ curl api.subdomain.domain/info 


7. 验 证 部 署 


1) 利用 cf 命令 行 工具 (cf CLI) 登录 Cloud Foundry， 登 录 名 和 密码 可 在 部 署 文 件 中 获取 (uaa:scim:users) 。 


2) 执行 bosh vms 命 令 ， 打 印 出 BOSH 控 制 的 所 有 Cloud Foundry 的 虚拟 机 实例 信息 ， 包 括 运行 服务 、IP 地 址 、 运 行 状态 等 。 


$----------------------------- 4--------- $------------------ 4--------------- 
| Job/index | State | Resource Pool | IPs 

$----------------------------- 4--------- 4------------------ 4--------------- 
| nfs server/8 | running | nfs server | 10.146.21.174 
| ccdb/@ | running | ccdb | 10.146.21.175 
| cloud controller/e | running | cloud controller | 10.146.21.176 
| collector/e | running | collector | 10.146.21.178 
| health manager/e | running | health manager | 10.146.21.173 
| nats/@ | running | nats | 10.146.21.172 
| router/@ | running | router | 10.146.21.171 
| syslog/@ | running | syslog | 10.146.21.177 
| uaa/8 | running | uaa | 10.146.21.180 
| uaadb/e | running | uaadb | 10.146.21.179 
| dea/@ | running | dea | 10.146.21.181 
| saml login/e | running | saml login | 10.146.21.181 
+----------------------------- 4--------- 4------------------ 4--------------- 


7.4 使 用 Ops Manager 安 装 


Pivotal 公 司 提供 了 一 套 Ops Manager 工 具 ， 可 在 AWS、OpenStack、vSphere/vCloud 等 云 环境 中 快速 便捷 地 部 署 CF， 本 节 将 介绍 如 何在 OpenStack 上 采用 Ops Manager 部 署 CF。 


7.4.1 OpenStack 支 持 版 本 


Pivotal 公 司 在 测试 环境 中 使 用 Mirantis OpenStack 6.1 (Juno) 版 本 。Pivotal Cloud Foundry 也 可 安装 在 OpenStack 的 发 行 版 本 Havana、lcehouse、Juno 和 Kilo (Keystone v2) 中 。 


7.4.2 ”安装 的 先决 条 件 


用 户 首先 需要 拥有 独立 的 OpenStack 账 户 并 满足 以 下 需求 : 


1) 具有 keystone 安 全 认证 ， 包 括 Auth URL。 
* API key Username Project name Region. 
“ 用 于 域名 认证 的 SSL 安 全 证 书 。 
2) OpenStack 账 户 需要 以 下 功能 : 
上传 Image 至 Glance。 
“ 创建 并 修改 VM flavors. 
- DHCP. 
. 申请 浮动 ITP (floating IP) 。 
“ 通过 浮动 JP 在 VM 间 发 送 消息 。 
+ 从 Image 启 动 虚拟 机 的 权限 。 
“至少 一 个 wildcard 的 DNS 域 名 domainarated。 
3) Openstack 账 户 至 少 需要 以 下 资源 来 部 署 CF : 
: A #70 GB. 
“ VALE HA RH AT 22. 
“16 台 小 型 虚拟 机 (1 vCPU,1024 MB 的 RAM，10 GB 的 根 磁 盘 ) 。 
"3 台大 型 虚拟 机 (4 vCPU,16384 MB 的 RAM，10 GB 的 根 磁盘 ) o 


+ 32 个 vCPU。 


“ 硬盘 空间 1 TB。 
“ 网 络 支持 浮动 IP。 
4) Cinder 后 台 需 要 支持 RAW 和 snapshot。 


Pivotal 建 议 Cinder 可 以 支持 异步 删除 BIOCK Storage， 如 果 不 支持 ， 则 需要 支持 在 300 秒 内 删除 20GB 的 volumes。 


5) 其 他 方面 : 


如 果 使 用 VXLAN 和 GRE 协 议 的 网 络 环境 ， 被 创建 虚拟 机 的 MTU 需 要 与 插件 供应 商 提供 的 最 优 配置 相 适 应 。 如 果 Neutron 采 用 基于 Open vSwitch 机 制 的 VXLAN 配 置 ， 那 么 MTU 值 需要 为 1400。 对 于 
GRE， 推 荐 MTU 值 为 1460。 此 外 ， 需 要 启用 DHCP。 


Pivotal 建 议 对 Openstack 的 logs 赋 予 完全 的 权限 ， 以 更 好 地 监控 部 署 过 程 。 
在 部 署 PCF 之 前 ，OpenStack 环 境 需要 被 彻底 地 测试 以 保证 稳定 的 部 署 环境 。 


配置 OpenStack VM flavors 的 方法 如 下 表 所 示 : 


ID Memory_MBDisk Ephemeral VCPUs 
| aaa 3 | x | 9 | i 


Memory MBDisk Ephemeral 


[me [ae [oo | 
[ 9 


7.4.8 ”配置 OpenStack 环 境 


本 节 将 介绍 如 何在 安装 CF 之 前 配置 OpenStack 环 境 。 


(1) 登录 OpenStack Horizon Dashboard 


首先 ， 登 录 OpenStack， 如 图 7-18 所 示 。 


openstack 


Log In 


User Name 


admin 


Password 


图 7-18 OpenStack FRG 
(2) 配置 安全 设置 
1) 在 OpenStack dashboard 左 侧 的 导航 栏 ， 单 击 “Project 一 Compute 一 Access&Security”。 
2) 在 “Access&Security” 页 面 中 选择 “Key Pairs" , 


3) 单 击 “Create Key Pair" , 


4) 输入 Key Pair 的 名 字 并 单 击 “Create Key Pair”， 如 图 7-19 所 示 。 


Create Key Pair 


Key Pair Name * 
Description: 


Key pairs are ssh credentials which are injected into 
images when they are launched. Creating a new key pair 
registers the public key and downloads the private key {a 
pem file). 


pcf 


Protect and use the key as you would any normal ssh 
private key. 


图 7-19 创建 Key Pair 
5) 在 左 侧 导 航 栏 单 击 “Access&Security” 进 行 刷新 操作 。 
6) 选择 “Security Groups" , &&r "Create Security Group”， 创 建 如 下 group， 如 图 7-20 所 示 : 
* Name: opsmanager 


* Description: Ops Manager 


Create Security Group 


Name * 
Description: 


Security groups are sets of IP filter rules that are applied to 


opsmanager 


Description * the network settings for the VM. After the security group is 
created, you can add rules to the security group. 


Ops Manager 


图 7-20 ”创建 Security Group 


7) 选择 名 为 “opsmanager” 安 全 组 的 勾 选 框 ， 单 击 “Manage Rules”， 如 图 7-21 所 示 。 


Security Groups 


Security Groups + Create SecurityGroup Med 1 Sut 


Name Description Actions 


default default Manage Rules 


M  opsmanager Ops Manager Manage Rules 


Displaying 2 items 


图 7-21 管理 Rules 


8) 添加 如 下 访问 规则 : 


Ingress 0.0.0.0/0 (CIDR) 
Ingress 0.0.0.0/0 (CIDR) 
Ingress TCP 443 (HTTPS) 0.0.0.0/0 (CIDR) 
Ingress IPv4 0.0.0.0/0 (CIDR) 
Ingress TCP 1-65535 opsmanager 
Ingress 1-65535 opsmanager 


(3) 创建 Ops Manager Image 


可 以 采用 Openstack GUIsk Glance CLI 客 户 端 来 创建 Ops Manager Image, 


注意 : 如 果 Horizon Dashboard 不 支持 文件 上 传 ， 则 需要 使 用 Glance 客 户 端 来 创建 image。 


1) OpenStack GUI 

@ 从 Pivotal Network (https://network.pivotal.io/) 下 载 基 于 OpenStack 的 Pivotal Cloud Foundry Ops Manager image. 
@ 在 左 侧 导航 栏 单 击 “Project 一 Compute 一 Images”。 

GE "Create Image”， 输 入 如 下 参数 : 

* Name: Ops Manager. 

“ Image Source: 选择 Image 文 件 。 

“ Image File: Æ “Choose File” 按 钮 ， 选 中 从 Pivotal Network 下 载 的 Image。 
“ Format: 选择 Raw。 

: Minimum Disk (GB) : 40. 

: Minimum RAM (MB) : 4096. 

“ 取消 选中 Public 复 选 框 。 


+ 选中 Protected 复 选 框 。 


@ 点 击 Create Image， 如 图 7-22 所 示 。 


Create An Image 


Description: 


Currently only images available via an HTTP URL are 
supported. The image location must be accessible to the 


Image Service. Compressed image binaries are supported 
(zip and .tar.gz.) 


Please note: The Image Location field MUST be a valid 
and direct URL to the image binary. URLs that redirect or 
serve error pages will result in unusable images. 


Image Source 


Image File 


Image File @ 
Choose File vm-2015-05-...14fa18e.raw 


Minimum Disk (GB) © 
40 


Minimum RAM (MB) Q 
4096 


Public 


@ Protected 


图 7-22 ”创建 Image 
2) Glance CLI 
@ 从 Pivotal Network (https://network.pivotal.io/) 下 载 基于 OpenStack 的 Pivotal Cloud Foundry Ops Manager Image. 


@ 执 行 以 下 命令 安装 Glance CLI 客 户 端 : 


$ apt-get install python-glanceclient 


@ 执 行 admin-openrc.sh 命 令 下 载 openstack.rc 文 件 ， 并 指定 待 安装 CF 的 OpenStack: 


$ ./admin-openrc.sh 
Please enter your OpenStack Password: 


@ 执 行 以 下 命令 上 传 Ops Manager Image: 


$ glance image-create --progress --disk-format raw --name "Ops Manager" VN 
--container-format bare --file PATH/DOWNLOADED-FILE 


(4) 启动 Ops Manager 虚 拟 机 实例 
1) 在 左 侧 导 航 栏 单 击 “Project 一 Compute 一 Images”。 


2) 单 击 Launch， 如 图 7-23 所 示 。 


Images + Create Image 


Image Name Type Status Public Protected Format Size Actions 


Image Active No No RAW 3.0 GB Launch 


图 7-23 ”启动 Ops Managetr 虚 拟 机 实例 


3) 在 Details、Access&Security 和 Networking 等 页 面 中 填写 以 下 参数 信息 ， 如 图 7-24 所 示 : 
+ Availability Zone: 选择 一 个 Availability Zone。 
: Instance Name: Ops Manager. 
+ Flavor: 选择 ml.large。 
+ Instance Count: 1. 
* Instance Boot Source: Boot from image 
"Image Name: Ops Manager image « 
(5) Access&Security 选 项 卡 设置 
.Key Pair: 选择 在 前 面 “配置 安全 设置 ”小 节 中 创建 的 Key pair. 
* Security Groups: 仅 选择 opsmanager 复 选 框 ， 如 图 7-25 所 示 。 
(6) Networking 选 项 卡 设置 
1) 选择 Networking 选 项 卡 。 


2) 在 Available networks 下 ， 选 择 一 个 private subnet， 可 以 在 后 续 步 骤 中 向 此 网 络 中 添加 浮动 |P。 


Launch Instance 


Details * Access & Security * 
Availability Zone 


nova 


Instance Name * 
Ops Manager 

Flavor *@ 
m1.large 


Instance Count * Q 
1 


Instance Boot Source * Q 


Boot from image 


Image Name 
Ops Manager (3.0 GB) 


Networking * Post-Creation Advanced Options 


Specify the details for launching an instance. 


The chart below shows the resources used by this 
project in relation to the project's quotas. 


Flavor Details 


Name m1.large 


Project Limits 
Number of Instances 


Number of VCPUs 


图 7-24 填写 参数 信息 


Launch Instance 


Access & Security * 
Key Pair © 
pof 
Security Groups * Q 


default 
M opsmanager 


3) 单 击 Launch， 如 图 7-26 所 示 。 


(7) 分 配 浮动 IP 
1) 在 左 侧 导航 栏 单 击 “Project 一 Compute 一 Instances”。 
2) 等 待 至 Ops Manager 实 例 的 状态 为 Running。 


3) 记录 Ops Manager 实 例 的 私有 IP 地 址 。 如 图 7-27 所 示 。 


Launch Instance 


Networking * Post-Craation Advanced Options 


Control access to your instance via key pairs, security 
s + groups, and other mechanisms. 


7-25 设置 Access&cSecutity 选 项 卡 


Details * Access & Security * Networking * Post-Creation Advanced Options 


Selected networks 


D net04 


Available networks 


net04 ext 
$ 


Instance 


口 IP Address Flavor $ Status 


Name 


Choose network from Available networks to Selected 
networks by push button or drag and drop, you may 
B change NIC order by drag and drop as well, 


Availability es Time since 
Zone created 


7-26 ”Networking 选 项 卡 设置 


Actions 


O Ops Manager 192.168.111.54 mi.large Active nova 1 minute | Create Snapshot x 


图 7-27 Ops Manager 实 例 的 私有 IP 地 址 获取 
4) 选中 "Ops Manager” 复 选 框 ， 单 击 “Actions” 下 拉 菜 单 ， 选 择 “Associate Floating IP" . 


5) 在 IP Address 中 单 击 + ， 如 图 7-28 所 示 。 


6) 在 Pool 页 面 下 ， 选 择 一 个 IP Pool 并 单 击 “Allocate IP”， 如 图 7-29 所 示 。 


7) 在 Port to be associated 下 ， 选 择 Ops Manager 虚 拟 机 实例 ， 单 击 “Associate”， 如 图 7-30 所 示 。 


(8) 添加 Blob Storage 


1) 在 左 侧 导 航 栏 单 击 “Project 一 Object Store>Containers” , 


Manage Floating IP Associations 


IP Address * 
IP Add " i . 
€— Select the IP address you wish to associate with the 
Select an IP address ue selected instance. 


Port to be associated * 


Select a port 


图 7-28 设置 浮动 IP 的 关联 


Allocate Floating IP 


Pool * 
netO4 ext Descri ption: 


Allocate a floating IP from a given floating IP pool. 


Project Quotas 
Floating IP (5) 


Cancel 


H7-29 分配 IP 


Manage Floating IP Associations 


IP Address * 
IP Address * 
216.221.229.32 


Port to be associated * 


Ops Manager: 192.168.111.54 


2) SAH "Create Container”， 并 做 如 下 设置 ， 如 图 7-31 所 示 。 


Create Container 


Container Name * 


pcf 


Container Access * 


Private 


* Container Name: pcf. 


- Container Access: 选择 private。 


Select the IP address you wish to associate with the 
+ selected instance, 


图 7-30 ”选择 Ops Managet 虚 拟 机 实例 并 关联 


Description: 


A container is a storage compartment for your data and 
provides a way for you to organize your data. You can 
think of a container as a folder in Windows ® or a directory 
in UNIX ®. The primary difference between a container 
and these other file system concepts is that containers 
cannot be nested. You can, however, create an unlimited 
number of containers within your account. Data must be 
stored in a container so you must have at least one 
container defined in your account prior to uploading data. 


Note: A Public Container will allow anyone with the Public 
URL to gain access to your objects in the container. 


图 7-31 设置 Container 参 数 


7.4.4 配置 并 安装 Ops Manager Director 


(1) 登录 Ops Manager 
1) 在 左 侧 导 航 栏 单 击 “Project 一 Compute 一 Instances”， 找 到 Ops Manager 的 外 部 IP。 


2) 在 浏览 器 中 打开 此 外 部 IP， 启 动 Ops Manager 的 界面 。 


3) 输入 用 户 名 和 密码 ， 创 建 系统 admin 用 户 ， 如 图 7-32 所 示 。 


4) 单 击 Create Admin User, 创建 Ops Manager 的 管理 员 账户 。 


PCF Ops Manager 


Watkins 


图 7-32 ”创建 系统 admin 用 户 


(2) 完成 Openstack 的 设置 


1) 在 左 侧 导航 栏 单 击 “Project 一 Compute 一 Access&Security”， 选 择 API Access, 


2) 记录 Identity 服务 的 Service Endpoint。 在 接 下 来 的 步骤 中 将 使 用 此 service Endpoint 作 为 Authentication URL， 如 图 7-33 所 示 。 


Access & Security 


Security Groups Key Pairs Floating IPs API Access 


API Endpoints 


图 7-33 ”记录 Identity 服 务 的 Service Endpoint 


3) 在 浏览 器 中 单 击 Ops Manager Director 图 标 ， 如 图 7-34 所 示 。 


E openstack 


COMPATIBLE 


图 7-34 Ops Manager Director 4f 
4) 选择 OpenStack 设 置 页 面 。 


5) f£OpenStack Management Console Config 页 面 中 输入 以 下 参数 值 ， 如 图 7-35 所 示 。 


© Openstack Config Openstack Management Console Config 


Q Director Config 
Authentication URL" 


Create Availability Zones http://223:22z —28—-*008/v2.0 


Assign Availability Zones Username" 


admin 
Create Networks 


Password" 
Assign Networks 


Q VM Passwords 


admin 
Q Resource Config 


Region" 
RegionOne 


Igno re Server Availability Zone Checking this box will set the volume AZ to the default AZ. 


Security Group Name 


opsmanager 


Key Pair Name* 


pef 


SSH Private Key” 


MIIEpQIBAAKCAQEAS3«TSBRrrooGXpm7 
TgzTqoBhz0bGquhroktJZuBrXqwz1xpR 
OhBdNYTS47 JySgTT/TkN Jm3z EP8BkM J/ 
67TNGMMFNFK824HA4H11iqHH9VBs JMSx 


^ 


- Authentication URL: 输入 上 一 步 保存 的 Service Endpoint. 


图 7-35 设置 参数 


* Username: 输入 OpenStack Horizon 的 用 户 名 。 

* Password: 输入 OpenStack Horizon 的 密码 。 

* Tenant: 输入 OpenStack 账 户 名 。 

: Region: 输入 RegionOne， 或 者 输入 OpenStack 系 统管 理 员 推荐 的 其 他 region。 

* Ignore Server Availability Zone: 不 要 选择 复 选 框 。 

* Security Group Name: 输入 opsmanager， 此 安全 组 是 在 前 面 “ 配 置 安全 设置 ”小 节 所 建立 的 。 
* Key Pair Name: 输入 在 前 面 “配置 安全 设置 ”小 节 所 创建 的 key pairo 


- SSH Private Key: 在 文本 编辑 器 中 打开 前 面 “配置 安全 设置 ”小 节 所 创建 的 key pait 的 下 载 文 件 ， 复 制 内 容 至 SSH Private Key field. 


6) 单 击 保存 “Save”。 


(3) 完成 Director Config 页 面 配置 


1) 在 左 侧 导 航 栏 中 单 击 “Project 一 Compute 一 Access&Security”， 选 择 “API Access" 选项 卡 ， 如 图 7-36 所 示 。 


Access & Security 


API Endpoints © Download OpenStack RC File © Download EC2 Credentials 中 View Credentials 


Service Service Endpoint 
Compute http://a" 


Network http://2" 


图 7-36 API Access 选项 卡 


2) 单 击 “Download EC2 Credentials” , 


3) 解压 缩 下 载 的 credentials。 用 文本 编辑 器 打开 ec2rc.sh， 该 内 容 将 会 被 用 于 Ops Manager Director Config 页 面 。 


4) 在 Ops Manager 中 选择 Director Config， 如 图 7-37 所 示 。 


5) 在 NTP Servers 输 入 框 中 输入 以 下 一 个 或 多 个 NTP servers (以 逗号 为 分 隔 ) : 
* 0.amazon.pool.ntp.org 
* 1.amazon.pool.ntp.org 
* 2.amazon.pool.ntp.org 


+ 3,amazon.pool.ntp.org 


6) 采用 ec2rc.sh 文 件 的 内 容 完成 Director Config 页 面 配 置 : 
* Blobstore Location: 选择 S3 Compatible Blobstore option. 

“ S3 Endpoint: 使 用 位 于 ec2rc.sh 文 件 的 S3_URL。 

Bucket Name: 输入 pcf。 

* Access Key: 使 用 位 于 ec2rc.sh 文 件 的 EC2_ACCESS_KEY。 


* Secret Key: 使 用 位 于 ec2tc.sh 文 件 的 EC2_SECRET_KEY。 


© Openstack Config Director Config 


eate Ave ty Zones Lis pool ntp.org 


Q Resource Config 


W S3 Compatible Blobstore 


S3 Endpoint" 


http-//216.222- 22-8080 


Bucket Name" 


pei 


Access Key” 


Secret Key" 


Database Location 
- Internal 


External MySQL Database 


Max Threads 


EN 


图 7-37 ”配置 Director Config 
+ Max Threads: 1。 
7) 单 击 “Save” 进 行 保存 。 
(4) 完成 Availability Zones 页 面 的 配置 


1) 在 Ops Manager 中 选择 “Create Availability Zones”， 如 图 7-38 所 示 。 


2) 输入 Availability Zone 的 名 字 ， 此 Availability Zone 是 在 前 面 “配置 OpenStack 环 境 ” 中 设置 的 。 


Create Availability Zones 


图 7-38 ”选择 Create Availability Zones 
3) 单 击 Save 保 存 。 


4) 选择 “Assign Availability Zones”， 选 择 上 一 步 输入 的 “Availability Zone”， 如 图 7-39 所 示 。 


5) 单 击 Save 保 存 。 
(5) 完成 Networks 页 面 配置 


1) 在 左 侧 导航 栏 中 单 击 “Project 一 Network 一 Networks”， 进 入 Networks 设 置 界 面 ， 如 图 7-40 所 示 。 


Assign Availability Zones 


The Ops Manager Director is a single instance 
Choose the availability zone in which to place that instance. it is highly recommended 
that you backup this VM on a regular basis to preserve settings. 


A 
y 4 


7-39 ”选择 Availability Zone 


Networks 


Subnets Associated Status 


netO4 ext subnet Z^ — 74 ACTIVE 


netos subnet 192.168.111.0/24 ACTIVE 


图 7-40 Networksit HIP 


2) 单 击 包含 内 部 IP 的 网 络 名 称 ，OpenStack Network Detail 页 面 会 显示 出 来 ， 如 图 7-41 所 示 。 


3) 完成 Ops Manager 的 Create Networks 页 面 配置 ， 如 | 


| Name: 输入 此 网 络 的 唯一 标识 名 称 。 


图 7-42 所 示 。 


+ Create Notwork 


Admin State 


uP 


Actions 


Edit Network 


Edit Network 


(3906d7ec) 


(472a6c20) 


(67904dcb) 


(70b7af50) 


Network Address 


192.168.111.0/24 


192.168.111.2 


192.168.111.1 


192.168.111.10 
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图 7-41 OpenStack Netwotk 详 情 页 面 
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图 7-42 Create Networks 3i d e 3r. 


* Network ID: 从 OpenStack 页 面 获取 的 网 络 ID。 


“ Subnet (CIDR Range) : 从 OpenStack 页 面 获取 的 子 网 掩 码 。 


“ Excluded IP Ranges: 使 用 Network Address 范 文 内 的 前 10 个 IP 地 址 ， 以 及 在 前 面 分 配 浮动 也 地 址 部 分 中 Ops Manager 虚 拟 机 实例 所 用 到 的 内 部 IP。 
- DNS: 8.8.8.8。 
* Gateway: 从 OpenStack 页 面 获取 的 网 关 IP。 

4) 单 击 Save 保 存 。 


5) 选择 Assign Networks， 如 图 7-43 所 示 。 


6) 选择 上 一 步 所 创建 的 网 络 并 单 击 保存 。 
(6) 完成 Ops Manager Director Installation 设 置 


1) 单 击 Installation Dashboard 链 接 ， 返 回 到 Ops Manager 安 装 界面 。 


Assign Networks 


The Ops Manager director can be configured to h on a network 


) 


图 7-43 Assign Networks J- t 


2) 单 击 Apply Changes。 如 果 出 现 以 下 错误 ， 单 击 Ignore errors and start the install， 如 图 7-44 所 示 。 


P PCF Ops Manager 


A Please review the errors below 


* Cannot reach gateway with IP 10.0.16.1 (ignorable if ICMP is disabled 


* Cannot reach ONS with IP 10.0.0.2 (ignorabie if ICMP is disabled. 


图 7-44 ”错误 处 理 界面 


3) 开始 安装 Ops Manager Director， 当 出 现 以 下 界面 时 表示 Director 已 经 安装 成 功 ， 如 图 7-45 所 示 。 


© Changes Applied 


Ops Manager Director was successfully installed 
We recommend that you export a backup of this installation from the actions menu. 


Return to Installation Dashboard 


7-45 ”安装 成 功 界面 


74.5 安装 Cloud Foundry 


(1) 添加 弹性 运行 云 (Elastic Runtime) 至 Ops Manager 
1) 导航 至 Pivotal Cloud Foundry Operations Manager Dashboard, 


2) 单 击 左 侧 的 Pivotal Network 链 接 ， 将 Elastic Runtime 添 加 至 Ops Manager， 如 图 7-46 所 示 。 


Pivotal Elas 


图 7-46 ”添加 Elastic Runtime 
(2) 完成 安全 设置 


1) 单 击 Security Config， 页 面 如 图 7-47 所 示 。 


2) 在 SSL Termination Certificate 输 入 框 中 填写 相应 的 SSL 认 证 信息 。 
+ 在 产品 环境 ， 需 要 使 用 由 权威 机 构 认 证 的 安全 证 书 Certificate Authority (CA) ， 将 证 书 的 Certificate PEM 和 Private Key PEM 复 制 到 对 应 的 文本 框 中 。 


“ 在 测试 开发 环境 ， 可 以 使 用 自 签名 的 证 书 (self-signed certificate) o 
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图 7-47 Security Config 界 面 


用 户 可 以 点 击 Generate Self-Signed RSA Certificate 链 接 来 生成 此 种 证 书 。 点 击 链接 启动 RSA certificate 向 导 。 输 入 系统 域名 和 程序 运行 时 域名 (wildcard 类 型 ， 例 如 *example.com) 
一 个 证 书 来 适用 于 不 同 的 domain ， 生 成 此 证 书 时 ， 以 逗号 来 分 割 不 同 的 域名 ， 例 如 .apps.domain.com,*.system.domain.com， 如 图 7-48 所 示 。 


。 也 可 以 生成 


w* Generate Self-Signed RSA 


Certificate 


* example.com 


3) 如 果 使 用 self-signed 证 书 ， 需 要 在 安全 设置 页 面 中 义 选 1gnore SSL certificate verification 选 项 。 


7-48 ”生成 证 书 


4) 设置 HAProxy SSL Ciphers 和 Router SSL Ciphers。 如 果 不 想 使 用 针对 HAProxy 和 Router 的 SSL ciphers， 则 不 需要 填写 这 两 处 输入 设置 。 


5) 设置 Disable HTTP traffic to HAProxy。 如 果 勾 选 此 项 ， 则 表示 所 部 署 的 系统 会 拒绝 所 有 80 端 口 到 


HAProxy 的 网 络 流量 。 另 外 ， 这 一 选项 会 在 VCAP_1D 的 cookie 中 设置 安全 标志 。 


注意 : 如 果 勾 选 此 选项 ， 部 署 的 系统 将 不 再 使 用 HAProxy， 应 设置 外 部 load balancer 来 引导 所 有 80 端 


口 的 网 络 流量 。 如 果 不 义 选 此 选项 ， 所 有 到 80 端 口 的 网 络 流量 将 被 转发 到 应 用 程序 。 


6) 设置 Enable cross container traffic。 如 果 选 择 此 选项 ， 会 允许 同一 个 DEA 或 Diego Cell 的 不 同 Container 之 间 相 互通 信 。Pivotal 建 议 在 多 用 户 环境 下 禁用 此 功能 。 当 使 用 Pivotal Spring Clouds 


微服 务 (microservices) 时 可 以 启用 此 项 。 


7) 设置 Enable TLS on the Router。 选 择 此 选项 将 在 Router 中 启用 SSL termination, 


(3) 完成 Cloud Controller 设 置 


选择 Cloud Controller 设 置 页 面 ， 输 入 系统 和 应 用 程序 域名 domains， 如 图 7-49 所 示 。 


Coordinates Pivotal CF Elastic Runtime application lifecycles 


System Domain * 


图 7-49 Cloud Controlleriz Xt 5i d 


“系统 域名 (System Domain) 定义 了 push 应 用 程序 时 的 目的 地 。 


“ 应 用 程序 域名 (Apps Domain) 定义 了 Elastic Runtime 用 于 serve 应 用 程序 的 地 点 。 


注意 : Pivotal 建 议 使 用 相同 的 域名 和 不 同 的 子 域名 来 分 别 代 表 系 统 和 应 用 程序 域名 。 例 如 : system.EXAMPLE.COM 表 示 系 统 域名 ，apps.EXAMPLE.COM 表 示 应 用 程序 域名 。 


(4) 设置 SMTP (可 选 ) 


弹性 运行 云 (Elastic Runtime) 采用 SMTP 来 向 用 户 发 送 邀 请 和 确认 邮件 以 进行 用 户 注册 。 


1) 选择 SMTP Config。 
2) 输入 reply-to 和 SMTP email 信 息 。 


3) 对 于 SMTP Authentication Mechanism， 选 择 none， 如 图 7-50 所 示 。 


(5) 设置 Diego 
在 PCF 1.6 版 本 中 ，Diego 蔡 换 了 DEA 和 Health Manager 模 块 ，Diego 将 被 默认 部 署 和 启动 。 设 置 方法 如 下 。 


1) 选择 Diego 设 置 页 面 。 


2) 勾 选 Use Diego by default instead of DEAs 复 选 框 ， 从 而 在 所 有 的 应 用 程序 push 到 PCF 之 后 ， 都 将 会 默认 在 Diego 指 定 的 后 台 容 器 中 运行 。 


3) (可 选 ) 勾 选 Allow SSH access to apps 复 选 框 ， 允 许 开发 人 员 SSH 至 应 用 程序 所 在 的 Diego 虚 拟 机 ， 如 图 7-51 所 示 。 
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图 7-50 ”SMTP 设置 界面 


Pivotal Elastic Runtime 
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图 7-51 Diego 设 置 页 面 
(6) 允许 网 络 流量 至 内 部 子 网 


如 果 用 户 并 未 使 用 负载 均衡 器 ， 就 必须 允许 网 络 流量 可 以 传输 至 Openstack 的 内 部 网 络 ， 赋 予 HAProxy 一 个 外 部 IP 来 分 发 网 络 流量 至 内 部 子 网 。 具 体 设置 如 下 (如 图 7-52 所 示 ) 。 


1) 单 击 Resource Config, 
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7-52 资源 配置 页 面 


2) 对 于 每 一 个 HAProxy， 分 配 一 个 浮动 |P (floating IP) 作为 外 部 IP。 


3) 单 击 Save 保 存 。 


(7) 禁用 不 使 用 的 资源 (可 选 ) 


Elastic Runtime 部 署 时 默认 使 用 内 部 文件 系统 和 内 部 数据 库 来 存储 相关 数据 ， 如 果 用 户 想 使 用 外 部 资源 来 存储 数据 ， 可 以 禁用 内 部 数据 库 等 资源 来 降低 资源 损耗 。 执 行 以 下 操作 可 以 禁 


例 : 


1) 单 击 Resource Config。 


2) 如 果 配 置 Elastic Runtime 使 用 AWS S3 作 为 文件 服务 器 ， 则 可 禁用 NFS。 其 中 ，NFS Server 中 的 Instances 数 目 设 为 0。 


3) 如 果 配 置 Elastic Runtime 使 用 外 部 关系 数据 库 服务 (RDS) ， 编 辑 如 下 字段 : 


- MySQL Proxy: Instances 数 目 为 0。 

-© MySQL Server: Instances 数 目 为 0。 

- Cloud Controller Database: Instances 数 目 为 0。 
- UAA Database:Instances 数 目 为 0。 


“ Apps Manager Database: Instances 数 目 为 0。 


4) 如 果 使 用 外 部 负载 均衡 器 来 替换 HAProxy， 输 入 HAProxy 的 Instances 数 目 为 0， 如 图 7-53 所 示 。 


相关 虚拟 机 实 


E Na 


图 7-53 ”禁用 不 使 用 的 资源 


(8) 部 署 Elastic Runtime 


1) 单 击 “Installation Dashboard” 链 接 ， 返 回 到 Ops Manager 安 装 界 


Ej 


2) Sib "Apply Changes”。 如 果 出 现 以 下 ICMP 错 误 ， 单 击 !gnore errors and start the install, 


3) 开始 安装 Elastic Runtime， 安 装 成 功 时 会 有 相应 页 面 提示 。 


7.5 ”本章 小 结 


Ops Manager 是 基于 BOSH 的 部 署 工具 ， 可 提供 更 加 易 用 的 简单 的 图 形 化 界面 ， 同 时 也 屏蔽 了 一 些 BOSH 的 细节 。 与 此 同时 ，Ops Manager 也 提供 对 Cloud Foundry 升 级 的 支持 ， 每 次 升级 时 Ops 
Manager 会 自动 迁移 ， 更 新 底层 各 个 产品 的 配置 文件 。 如 果 通 过 BOSH 部 署 ， 建 议 把 每 次 部 署 的 所 有 配置 文件 放 到 一 个 版 本 管理 库 (如 git) 中 ， 以 方便 回溯 和 升级 。BOSH 和 Ops Manager 都 可 以 和 其 他 工 
具 结 合 实现 全 自动 的 升级 和 运 维 。 


第 8 章 Cloud Foundry 的 运 维 


Cloud Foundry 给 用 户 带 来 的 好 处 之 一 就 是 可 以 极 大 地 简化 运 维 工 作 。 由 于 Cloud Foundry 本 身 具有 很 强 的 自我 修复 能 力 ， 可 以 在 没有 人 工 干 预 的 情况 下 自动 修复 很 多 异常 情况 ， 从 而 大 大 减轻 了 运 维 
人 员 的 负担 。 同 时 ，Cloud Foundry 提 供 了 丰富 的 度量 (metric) ， 可 以 和 第 三 方 的 监控 工具 集成 ， 为 用 户 提供 直观 的 监控 图 表 ， 方便 用 户 了 解 系统 状态 ， 或 对 异常 情况 的 产生 原因 进行 分 析 定 位 。Cloud 
Foundry 还 提供 了 完善 、 可 靠 的 日 志 聚 合 功能 ， 可 以 把 不 同 节 点 、 不 同 服务 的 日 志 发 送 到 外 部 的 日 志 接 收 端 ， 从 而 方便 在 统一 的 视图 下 分 析 、 查 找 日 志 。 


平台 的 运 维 工 作 主要 包括 收集 和 分 析 日 志 与 度量 ， 创 建 监 控 面板 和 报警 策略 ， 以 及 定义 和 执行 故障 响应 与 处 理 流程 。 至 于 升级 和 补丁 的 工作 ， 因 为 与 部 署 类 似 ， 这 里 不 再 描述 。 


81 度量 


fi 


Cloud Foundry 提 供 了 大 量 的 系统 度量 ， 可 以 帮助 运 维 人 员 和 开发 人 员 了 解 系统 状态 ， 对 于 可 能 引发 故障 的 异常 情况 及 时 采取 措施 。 这 些 度量 采用 以 点 分 隔 的 组 件 及 监控 对 象 的 名 称 来 命名 ， 下 
些 例子 : 


* bosh.healthmonitor.system.healthy 
+ c£collector.router.total routes 
+ cf.collector.reservable_stagers 


* datadog.nozzle.rep.Capacity RemainingMemory 


j&i Cloud Foundry 提 供 的 BOSH Health Monitor 及 Loggregator 系 统 ， 用 户 可 以 将 这 些 度量 发 往 自己 的 Log 分 析 系 统 (例如 ElasticSearch+Logstash+Kibana) 和 监控 系统 (例如 DataDog) 做 进 一 
步 的 分 析 处 理 。 


我 们 先 来 看 一 些 比较 重要 的 度量 。 


* bosh.healthmonitor.system.healthy 
监控 集群 内 的 各 个 组 件 (例如 NATS、Router、UAA 等 ) 所 在 的 虚拟 机 是 否 运行 正常 。 


* bosh.healthmonitor.system.cpu.user、 bosh.healthmonitor.system.cpu.sys 和 bosh.healthmonitor.system.cpu.wait 


于 监测 虚拟 机 的 CPU 使 用 率 。 实 践 中 应 重点 监测 Router 的 CPU 使 用 率 ， 在 该 指标 持续 升 高 的 时 候 可 以 增加 节点 数 来 进行 扩展 。 


* cf.collector.router.requests 
Router、DEA、API 和 UAA 每 秒 处 理 的 请 求 数 。 


* cf.collector. HM9000.HM9000.NumberO fA pps WithAllInstancesReporting 


正在 运行 的 应 用 实例 的 个 数 。 如 果 此 数值 有 大 幅 波动 ， 说 明 可 能 有 恶意 的 用 户 行为 ， 或 者 Cloud Foundry 的 某 些 组 件 出 了 问题 ， 需 要 增加 资源 。 


+ cf.collector.router.total_routes 


ot 


的 变化 值 。 


Cloud Foundry 上 路 径 的 总 数 。 所 有 Router 上 的 这 一 数值 应 该 相同 。 如 果 不 同 ， 则 说 明 NATS 出 了 问题 。 为 了 便于 发 现 问题 ， 可 以 监控 这 一 数据 在 一 定时 间 范 转 


+ cf.collector.reservable_stagers 


系统 中 可 以 分 配给 新 的 应 用 的 内 存 数 。 对 这 一 指标 求 和 ， 可 以 得 到 当前 系统 上 还 可 以 部 署 多 少 需要 1GB 大 小 内 存 的 应 用 。 如 果 数 值 过 小 ， 则 用 户 将 无 法 部 署 新 的 应 用 或 者 扩展 已 经 部 署 的 应 用 。 


+ cf.collector.mem_free_bytes 


DEA 节 点 上 的 空闲 内 存 数 。 对 这 一 指标 求 和 ， 可 以 得 到 所 有 DEA 节 点 的 空闲 内 存 的 总 和 。 由 于 用 户 部 署 应 用 时 通常 会 申请 大 于 实际 用 量 的 内 存 ， 这 一 数字 会 大 于 cf.collector.reservable_ stagers。 


+ cf.collector.uptime_in_seconds 


DEA 自 最 近 一 次 启动 后 的 运行 时 长 。 如 果 DEA 不 断 重 启 ， 可 能 是 由 Bug 导 致 的 ， 这 将 影响 用 户 应 用 的 性 能 。 


总 结 起 来 ，BOSH 提 供 的 度量 可 以 监控 虚拟 机 层 和 进程 级 的 状态 ， 例 如 虚拟 机 的 CPU、 磁 盘 、 内 存 和 进程 的 运行 状态 。 


Cloud Foundry 提 供 的 度量 显示 了 进程 内 部 和 业务 逻辑 相关 的 数据 ， 例 如 Router 的 请 求 数 。 


8.2 ”度量 的 发 送 


上 述 Cloud Foundry 的 度量 按照 发 送 者 主要 可 以 分 为 两 类 ， 一 类 来 自 BOSH 的 Health Monitor， 另 一 类 来 自 Cloud Foundry 的 Metric Collector 和 Loggregator Firehose, 


8.2.1 Bosh Health Monitor 


BOSH Health Monitor 是 在 Director 上 运行 的 一 个 job。 它 通过 运行 在 由 BOSH 部 署 的 虚拟 机 上 的 Agent 实 时 监测 目标 机 器 上 的 系统 状态 ， 例 如 CPU 使 用 率 、 空 闲 内 存 大 小 、 磁 盘 可 用 空间 等 ， 并 通过 
REST API 将 数据 发 送 至 Datadog。 


除了 Datadog，BOSH Health Monitor 也 可 以 将 数据 发 送 至 其 他 目的 地 ， 例 如 Graphite、OpenTSDB、AWS CloudWatch 等 。 具 体 做 法 可 以 参考 Github 上 Cloud Foundry 项 目 BOSH 代 码 库 bosh- 
monitor/lib/bosh/monitor/plugins RAIS. 


8.2.2 Cloud Foundry Collector 


Collector 是 旧版 本 的 Cloud Foundry 中 用 来 收集 度量 的 模块 。 在 最 新 的 版 本 中 ，Collector 已 经 被 重新 设计 的 Loggregator 所 取代 。 和 BOSH Health Monitor 一 样 ，Collector 也 可 以 把 数据 发 送 到 
Datadog、Graphite 或 者 OpenTSDB 等 多 个 目的 地 。 感 兴趣 的 读者 可 以 参考 Github 上 Cloud Foundry 项 目 Collector 代 码 库 lib/collector/historian 中 的 代码 。 


8.2.3 Cloud Foundry Loggregator 


在 最 新 版 本 的 Cloud Foundry 中 ，Loggregator 是 负责 发 送 应 用 日 志和 度量 的 子 系统 。Loggregator 是 Cloud Foundry 中 的 关键 模块 ， 用 来 聚合 和 流 式 处 理 所 有 用 户 应 用 和 系统 模块 的 日 志和 度量 。 
Cloud Foundry 系 统 自身 和 部 署 的 大 量 应 用 会 产生 海量 的 日 志 信息 ， 同 时 Cloud Foundry 也 提供 了 丰富 的 度量 。 如 何 让 这 些 日 志和 度量 从 系统 中 稳定 地 输出 ， 是 一 个 巨大 的 挑战 。Cloud Foundry 
Loggregator 团 队 研究 设计 了 极 具 扩 展 性 和 松 耦 合 的 Loggregator 子 系统 。 在 每 个 Cloud Foundry 组 件 节点 上 ， 都 部 署 了 一 个 Metron Agent， 可 以 很 容易 地 被 本 地 的 组 件 发 现 并 发 送 日 志和 度量 ， 这 样 也 消 
除了 Cloud Foundry 组 件 对 Loggregator 子 系统 的 依赖 。Metron Agent 会 通过 系统 的 服务 发 现 组 件 找到 Doppler， 然 后 把 日 志 发 送 给 Doppler。 


Loggregator 主 要 由 以 下 几 部 分 构成 (如 图 8-1 所 示 ) : 


* Metron Agent 
在 每 个 cell 节 点 都 部 署 有 Metron Agent， 用 于 收集 本 地 运行 的 所 有 应 用 的 日 志 并 且 转 发 到 Doppler， 也 收集 系统 模块 的 日 志和 度量 。 


* Doppler 


Doppler 从 Metron 收 集 日 志和 度量 ， 存 放 在 临时 缓存 中 ， 然 后 转发 给 Traffic Controller 或 者 第 三 方 的 日 志 处 理 单元 。 


+ Traffic Controller 


Traffic Controller 处 理 客户 端 对 日 志和 度量 的 请 求 。 它 从 各 个 Doppler 服 务 器 收集 和 对 齐 日 志 ， 提 供 外 部 接口 和 消息 转换 ， 并 开放 Firehose 端 口 和 服务 。 


Runner VM 


Nozzle 


Traffic Firehose 
Controller 


Router VM App Syslog Drain | | “ct logs app1” 
* Papertrall 
* Loggly 


Cloud Controller 
VM 


图 8-1 Loggregator 的 构成 


Firehose 是 一 个 Websocket 的 连接 点 ， 用 来 把 Cloud Foundry 中 所 有 的 事件 数据 以 流 式 处 理 的 方式 输出 ， 事 件数 据 包 括 所 有 应 用 的 日 志 、HTTP 事 件 和 度量 ， 也 包括 所 有 Cloud Foundry 系 统 组 件 的 度 
量 和 系统 中 的 错误 。 


因为 Firehose 输 出 的 数据 可 能 包含 敏感 信息 (例如 ， 应 用 日 志 中 的 客户 信息 ) ， 所 以 Firehose 只 能 被 拥有 相应 权限 的 用 户 访问 。 


Traffic Controller 通 过 /firehose 的 连接 点 提供 Firehose 的 Websocket 服 务 。 从 Firehose 输 出 的 事件 遵循 Dropsonde 协 议 的 protobuf 消 息 。Dropsonde 协 议 的 完整 定义 可 参 


Whttps://github.com/cloudfoundry/dropsonde-protocol, 


Traffic Controller 的 地 址 可 以 通过 Cloud Controller 的 API 获 取 ， 在 返回 的 json 数 据 中 查找 dopper logging_endpoint。 例 如 : 


$ cf curl /v2/info | jq .doppler logging endpoint wss://doppler.10.244.0.34.xip.io:443 


* Nozzle 


Nozzle 是 消费 Loggregator Firehose 数 
incubator/datadog-firehose-nozzle) 可 以 把 Firehose 的 度量 发 布 到 Datadog。 


Syslog Nozzle (https://github.com/cloudfoundry-community/firehose-to-syslog) 可 以 过 滤 Firehose 的 消息 并 


Cloud Foundry 提 供 了 丰富 的 系统 组 件 度量 ， 包 括 系统 级 的 通 有 


的 度量 数据 和 组 件 特定 的 统计 度量 ， 埋 


xm 


居 的 程序 。Nozzle 可 以 选择 、 缓 存 和 转换 数据 ， 并 且 转 发 数据 到 其 他 应 用 和 服务 。 例 如 ，Datadog Nozzle (https://github.com/cloudfoundry- 


syslog 服 务 ， 也 有 针对 OpenTSDB 的 Nozzle。 


本 上 每 个 组 件 都 会 生成 自己 的 度量 数据 ， 运 维 时 需要 特别 关注 Diego、Loggregator 中 的 


Metron, Syslog Drain, Traffic Controller 和 Doppler， 以 及 Cloud Controller、Router 和 Etcd 等 组 件 的 度量 。 从 https://docs.cloudfoundry.org/loggregatorvallmetrics.htmI 可 以 了 解 所 有 的 度量 和 详 


细 说 明 。 


关于 Loggregator 和 Nozzle 的 更 多 细节 ， 可 以 参考 Github 上 如 下 地 址 的 代码 : 


+ https://github.com/cloudfoundry/loggregator 


* https://github.com/cloudfoundry-incubator/Putf8=%E2%9C%93&query=nozzle 


8.3 ”度量 收集 与 监控 面板 


无 论 是 BOSH 还 是 Cloud Foundry 的 度量 ， 都 可 以 通过 配置 来 指定 将 度量 发 送 /聚合 到 什么 地 方 。 


应 用 开发 者 可 以 通过 命令 行 cf logs 查 看 最 近 的 日 志 ， 或 者 把 日 志 流 化 到 第 三 方 的 日 志 收 集 和 分 析 服 务 。 运 维 人 员 和 管理 员 可 以 访问 Loggregator 的 Firehose， 了 解 应 用 和 系统 的 日 志和 度量 。 


因为 BOSH 和 Cloud Foundry 发 送 的 都 是 标准 的 时 间 序 列 数据 ， 理 论 上 任何 可 以 接受 和 处 理 时 间 序列 的 


数据 库 或 者 系统 都 可 以 成 为 度量 发 送 的 终点 ， 在 实践 中 我 们 也 看 到 不 同 的 方案 ， 例 如 Datadog、OpenTSDB、Graphite 等 。 在 这 里 我 们 介绍 两 种 方案 : 一 种 是 提供 云端 监控 的 Datadog， 只 需要 申请 一 个 账 
I; 另 一 种 方案 是 部 署 自己 的 OpenTSDB 来 收集 日 志 ， 然 后 借助 开源 的 Grafana 来 创建 监控 面板 。 


号 ， 创 建 一 个 Application Token 就 可 以 使 F 


8.3.1 Datadog 


Datadog 是 提供 云端 应 用 监控 的 SaaS 服 务 。 我 们 将 Cloud Foundry 系 统 产生 的 各 种 Metrics 通 过 API 发 送 到 Datadog， 并 在 Datadog 上 创建 显示 数据 的 模板 ， 最 终 在 Datadog 的 页 面 上 绘制 出 各 种 图 


表 。Datadog 使 用 方便 ， 提 供 了 丰富 的 查询 和 图 表 功 能 ， 有 大 量 可 以 集成 的 插件 ， 用 于 监控 各 种 开源 和 商业 软件 与 服务 。Datadog 的 功能 在 此 不 详 述 ， 感 兴趣 的 读者 可 以 访问 网 站 www.datadoghq.com 进 


一 步 了 解 。 下 面 是 我 们 创建 的 一 个 监控 面板 。 


可 以 在 Datadog 中 创建 不 同类 别 和 
样 一 个 监控 面板 显示 在 大 屏幕 上 
问题 时 可 以 帮助 团队 对 数据 变化 进行 横 


优先 级 的 


面板 。 例 如 ， 可 以 有 一 个 针对 整个 平台 的 高 优先 级 的 Stoplight 面 板 ， 这 个 面 


板 上 的 任何 


标 变 红 ， 都 提示 一 个 严重 的 需要 马上 处 理 的 系统 问题 ， 通 常 也 将 这 


， 让 团队 的 所 有 成 员 可 以 随时 看 到 。 还 可 以 创建 一 些 针对 模块 的 面板 ， 例 如 有 一 个 针对 所 有 Cell 节 点 的 面板 和 一 个 针对 MySQL 数 据 库 服务 的 面板 ， 这 些 面 板 在 Cell 节 点 遇 到 


向 和 纵向 比较 ， 从 而 快速 定位 问题 ， 如 


D 


为 了 让 Cloud Foundry 的 有 


户 了 解 和 使 


8-2 所 示 。 


这 些 监控 模板 ，Pivotal 已 经 将 模板 文件 


源 ， 发 布 在 Github 上 ， 网 址 为 https://github.com/pivotal-cf-experimental/datadog-config-oss。 


图 8-2 


监控 面板 示例 


这 些 监控 面板 的 配置 经 过 很 好 的 设计 ， 将 面板 本 身 和 具体 的 环境 通过 参数 化 的 方式 相 分 离 ， 这 样 所 有 面板 配置 代码 可 以 在 不 同 的 环境 下 共享 使 用 。 


Datadog 也 有 一 些 缺 点 ， 它 只 给 最 终 用 户 提供 过 去 一 年 的 数据 ， 无 法 查看 更 长 时 期 的 历史 数据 。 另 外 ， 它 只 提供 界面 和 API 让 用 户 在 它 的 网 站 上 创建 面板 图 标 查 看 数据 ， 没 有 相应 的 API 让 用 户 将 收集 到 
的 数据 导出 备份 ， 无 法 支持 使 用 平台 的 监控 度量 数据 来 做 一 些 高 级 的 离线 的 数据 分 析 。 与 此 同时 ，Datadog 目 前 没有 部 署 服务 器 在 中 国 ， 从 国内 发 送 数据 到 Datadog 有 一 定 的 延迟 ， 如 果 这 种 延迟 累积 到 一 
定 程度 而 导致 延迟 太 长 ，Datadog 会 抛弃 数据 。 如 果 这 些 因素 对 你 很 重要 ， 可 以 考虑 部 署 自己 的 度量 收集 系统 ， 例 如 下 面 将 要 介绍 的 OpenTSDB。 


8.3.2 OpenTSDB 


OpenTSDB 是 一 个 开源 的 扩展 能 力 很 强 的 时 间 序列 数据 库 ， 它 基于 HBase 实 现 快速 插入 和 查询 。 借 助 BOSH， 可 以 快速 将 OpenTSDB 和 所 依赖 的 HBase 部 署 到 laaS 上 ， 这 可 以 是 部 署 Cloud Foundry 的 
同一 个 laaS 和 BOSH 环 境 ， 如 图 8-3 所 示 。 


HBASE 
OpenTSDB 


BOSH 


IAAS (AWS, OpenStack, vSphere) 


图 8-3 OpenTSDB 的 作用 


OpenTSDB、HBase 和 OpenTSDB firehose nozzle 的 BOSH release 可 以 在 如 下 地 址 找到 ， 具 体 的 部 署 步 又 不 再 歼 述 ， 请 参照 OpenTSDB release 中 的 示例 模板 执行 。 
* https://github.com/pivotal-cf-experimental/hbase-boshrelease 
+ https://github.com/pivotal-cf-experimental/opentsdb-boshrelease 


* https://github.com/pivotal-cf-experimental/opentsdb-firehose-nozzle-release 


OpenTSDB 自 身 有 一 个 简单 的 图 形 界面 ， 可 查询 和 展示 单个 度量 数据 。 想 要 创建 类 似 Datadog 的 监控 面板 ， 可 以 在 Cloud Foundry 中 部 署 一 个 开源 的 Grafana 应 用 ， 从 而 创建 漂亮 的 度量 图 标 和 监控 面 
板 。 


图 8-4 是 一 个 在 Grafana 中 创建 的 Cloud Foundry 监 控 面 板 。 


rr . 


一 一 e 


图 8-4 ”Grafana 中 创建 的 监控 面板 


可 以 访问 下 面 的 代码 库 并 参照 README 部 署 Grafana 到 Cloud Foundry 中 : 


对 于 PaaS 服 务 的 提供 者 来 说 ， 完 善 的 监控 系统 和 及 时 的 报警 处 理 是 保证 SLA (Service Level Agreements) 的 关键 。 服 务 提供 者 应 能 在 最 短 时 间 里 对 于 线 上 出 现 的 异常 情况 做 出 恰当 的 反应 降低 对 用 
的 影响 。 


下 面 基于 我 们 在 AWS 上 的 运 维 经 验 介绍 一 下 如 何 对 Cloud Foundry 系 统 进行 监控 和 报警 处 理 (如 图 8-5 所 示 ) 。 


在 实践 中 ， 我 们 采用 了 多 种 在 线 监控 的 SaaS 服 务 ， 例 如 Pingdom、Datadog、NewRelic， 以 及 AWS 的 CloudWatch 等 。 这 些 工 具 相 互补 充 ， 提 供 了 对 Cloud Foundry 全 方位 的 监控 服务 。 当 这 些 监控 
工具 探测 到 异常 情况 的 时 候 ， 会 触发 PagerDuty 提 供 的 报警 通知 服务 ， 将 警报 信息 通过 电话 、 短 信 、 邮 件 、APP 推 送 等 多 种 方式 发 送 给 运 维 人 员 。 


DATADOG 


图 8-5 AWS 上 进行 CF 监控 架构 


此 外 ,我们 也 可 以 自己 动手 开发 程序 来 收集 一 些 特定 的 度量 ， 并 通过 API 发 送 到 Datadog (或 者 其 他 的 监控 系统 ) 。 这 些 收集 数据 的 程序 可 以 作为 应 用 通过 “cf push” 部 署 到 Cloud Foundry， 也 可 以 
做 成 BOSH release， 作 为 job 通过 “BOSH deploy" 5Cloud Foundry 部 署 到 一 起 。 例 如 ， 为 了 监测 平台 站 点 上 某 个 End Point 的 可 用 性 ,我 们 可 以 编写 一 个 小 程序 ， 在 程序 中 构造 一 个 名 为 
mysite.endpoint_a.uptime 的 度量 ， 然 后 定期 发 送 HTTP 请 求 到 这 个 End Point, 如 果 得 到 正常 的 响应 ， 则 该 度量 取 值 为 1， 否 则 将 其 取 值 为 0。 接 下 来 ， 再 使 用 Datadog 提 供 的 
API (http://docs.datadoghq.com/libraries/) ， 将 这 个 定制 的 度量 发 送出 去 。 在 Datadog 的 页 面 上 就 可 以 将 数据 以 图 表 的 形式 展现 出 来 了 。 我 们 也 可 以 指定 当 取 值 为 0 的 持续 时 间 超 过 某 个 限定 值 ， 例 如 
30 秒 ， 就 触发 PagerDuty 的 警报 。 


8.5 ”日志 的 收集 和 分 析 


Cloud Foundry 在 每 个 节点 上 都 通过 syslog 将 该 节点 上 的 所 有 服务 日 志 发 送出 来 ， 相 应 的 syslog 接 收 端 可 以 在 部 署 时 通过 下 面 的 属性 配置 : 


syslog_daemon_config: 
address: logsearch.stash.hostname port: 5514 


任何 可 以 处 理 syslog 的 系统 都 可 以 成 为 接收 端 ， 在 Pivotal Web Service 的 产品 环境 中 ， 使 用 了 Logsearch。Logsearch 是 一 个 集成 了 Logstash、Elasticsearch 和 Kibana 的 日 志 系统 。Logstash 可 以 接 
收 、 解 析 和 归档 日 志 数 据 ，Elasticsearch 可 以 索引 和 存储 日 志 数据 ， 而 Kibana 提 供 了 图 形 化 的 日 志 查询 界面 ， 也 用 于 创建 图 表 来 分 析 日 志 ， 如 图 8-6 所 示 。 


Logsearch 提 供 了 一 个 BOSH 安 装 包 ， 可 以 快速 部 署 一 个 Logsearch 集 群 。 可 以 访问 https://github.com/logsearch/logsearch-boshrelease 来 了 解 部 署 步骤 和 获取 部 署 代 码 。 


充分 利用 Logsearch 可 以 帮助 了 解 系统 的 状况 ， 例 如 ， 在 日 志 中 查询 “staging.begin” 可 以 知道 应 用 推送 到 Cloud Foundry 的 次 数 。 
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8-6 ”Kibana 的 页 面 


在 问题 诊断 方面 ， 一 个 常用 的 方法 是 根据 应 用 的 GUID 来 查找 相关 的 日 志 。 可 以 执行 下 面 的 命令 来 获取 应 用 的 GUID， 此 处 应 将 cities 蔡 换 为 应 用 的 名 称 : 


$ cf app cities --guid 


也 可 以 在 执行 cf 命令 时 ， 通 过 设置 环境 变量 CF_TRACE 为 true 来 看 到 cf 客户 端 和 服务 端的 交互 ， 从 而 获取 更 多 信息 : 


CF_TRACE=true cf app cities --guid 


在 Logsearch 中 可 以 创建 丰富 的 图 表 来 分 析 日 志 ， 例 如 ， 可 以 创建 一 个 柱状 图 来 统计 日 志 的 来 源 ， 如 图 8-7 所 示 。 


也 可 以 将 一 组 相关 的 图 表 组 织 到 一 个 监控 面板 中 ， 从 而 方便 查看 和 分 析 。 我 们 将 所 有 负载 均衡 的 日 志 注入 到 Logsearch 中 ， 创 建 了 一 系列 针对 负载 均衡 日 志 的 分 析 图 表 ， 以 了 解 应 用 的 活跃 情况 、 健 康 
状况 和 用 户 的 访问 模式 等 。 


请 注意 ，syslog 发 送 的 日 志 都 是 Cloud Foundry 平 台 的 日 志 ， 用 户 部 署 到 Cloud Foundry 中 的 应 用 日 志 是 通过 Loggregator 组 件 发 送 的 ， 用 户 可 以 通过 cf logs 访 问 ， 管 理 员 可 以 通过 部 署 配置 Firehose 
Nozzle 接 收 。 


Log source analysis - by syslog program (Top 20) 
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图 8-7 统计 日 志 来 源 


Logsearch 开 发 者 也 创建 了 一 个 特殊 的 Logsearch for Cloud Foundry 发 行 包 ， 预 置 了 对 Cloud Foundry 日 志和 容器 度量 的 解析 规则 ， 同 步 部 署 接收 日 志 与 度量 的 Firehose Nozzle, 与 Cloud Foundry 
UAA 集 成，Cloud Foundry 用 户 可 以 用 自己 的 账号 登录 访问 自己 的 应 用 日 志 、 度 量 和 图 表 。 更 多 详情 请 访问 https://github.com/cloudfoundry-community/logsearch-for-cloudfoundry。 


第 9 章 ”服务 与 工具 


前 面 已 经 介绍 了 Cloud Foundry 的 架构 、 应 用 和 运 维 ， 本 章 将 介绍 Cloud Foundry 的 服务 和 工具 。Cloud Foundry 的 用 户 需求 是 多 种 多 样 的 ， 一 个 应 用 依赖 的 服务 也 是 各 种 各 样 的 ， 有 的 应 用 需 
库 ， 有 的 应 用 需要 发 邮件 ， 还 有 的 应 用 需要 存储 文件 。 所 有 这 些 都 可 以 通过 Cloud Foundry 连 接 到 相应 的 服务 ， 解 耦 应 用 和 它 所 依赖 的 外 部 服务 ， 因 此 ， 服 务 是 Cloud Foundry 的 关键 部 分 。 此 外 ， 本 章 还 
将 介绍 几 个 对 应 用 开发 和 平台 运 维 有 帮助 的 工具 。 


9.1 ARS 


9.1.1 服务 简介 


通常 ， 应 用 程序 都 依赖 一 些 外 部 服务 ， 例 如 MySQL 数 据 库 或 者 Redis。Cloud Foundry 提 供 了 一 个 服务 代理 (Service Broker) APl， 可 以 把 外 部 的 服务 集成 到 Cloud Foundry。 当 应 用 程序 需要 一 个 服 
务 时 ， 只 需要 绑 定 该 服务 ， 就 可 以 马上 使 用 。 服 务 提供 者 相当 于 提供 了 一 个 多 租户 的 服务 池 ， 通 过 一 次 部 署 即 可 按 需 创建 ， 方 便 用 户 使 用 ， 节 省 了 部 署 和 维护 的 成 本 。 我 们 把 实现 了 服务 代理 API 的 模块 称 为 
服务 代理 。 在 | 日 的 文档 中 ， 经 常 把 这 个 模块 称 为 Service Gateway。 实 际 上 ， 在 服务 绑 定 后 ， 应 用 和 服务 之 问 的 交互 并 不 需要 通过 Broker，Gateway 的 说 法 是 不 准确 的 ， 所 以 把 名 字 改 为 Broker。 


服务 代理 需要 实现 并 告知 Cloud Controller 一 系列 AP1， 包 括 catalog、provision、bind、unbind 和 deprovision。 每 个 代理 实现 这 些 API 的 具体 方式 都 不 一 样 ， 通 常 ，provision 在 服务 中 预定 资 
源 ，bind 告 诉 应 用 所 需 的 资源 访问 信息 。 我 们 把 一 个 预定 的 资源 称 为 服务 实例 。 服 务实 例 可 以 有 不 同 的 表现 形式 ， 它 可 以 是 多 租户 服务 器 上 的 一 个 数据 库 ， 也 可 以 是 一 个 专门 的 集群 ， 或 者 是 一 个 Web 应 用 
中 的 账号 。 


如 图 9-1 所 示 ， 当 用 户 provision 一 个 服务 时 ， 服 务 代理 的 provision API 被 调用 ， 服 务 后 台 就 可 以 创建 出 service instance 0。 当 应 用 A bind 该 服务 时 ， 服 务 代理 的 bind API 被 调用 ， 服 务 代理 就 给 应 用 程 
序 返 回 相应 的 服务 访问 信息 。 
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图 9-1 服务 的 工作 流程 


Cloud Foundry 只 需要 服务 提供 者 实现 服务 代理 AP1， 具 体 的 实现 方式 完全 由 开发 者 和 提供 者 决定 。 用 户 可 以 用 任何 语言 实现 ， 可 以 实现 为 一 个 应 用 程序 ， 或 者 只 是 一 个 提供 了 HTTP API 访 问 的 外 部 服 


服务 本 身 的 部 署 也 完全 没有 限制 。 例 如 ， 可 以 采用 下 列 部 署 方式 : 


“ 将 整个 服务 作为 一 个 release 通 过 BOSH 打 包 和 部 署 ， 与 Cloud Foundry 部 署 在 一 起 。 


“ 服务 代理 通过 BOSH 打 包 ， 与 Cloud Foundry 部 署 在 一 起 ， 服 务 本 身 通 过 其 他 方式 部 署 和 维护 。 


- 服务 代理 作为 一 个 应 用 程序 部 署 到 Cloud Foundry 的 一 个 用 户 空间 。 


“ 包括 服务 代理 在 内 


的 整个 服务 都 通过 其 他 方式 部 署 在 Cloud Foundry 外 部 。 


理论 上 ， 任 何 对 应 


有 用 的 产品 都 可 以 成 为 Cloud Foundry 的 一 个 服务 ， 由 应 
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图 9-2 显 示 了 Pivotal 和 合作 伙伴 提供 的 一 些 服务 。 
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9.1.2 ”实现 服务 代理 


a) Pivitol 提供 的 服务 


o a9s BOSH for PCF (BETA) 
o a9s MongoDB for PCF (BETA) 
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b) Pivitol 合作 伙伴 提供 的 服务 


图 9-3 显 示 了 用 户 操作 、Cloud Controller 调 用 服务 代理 API 和 服务 代理 的 响应 过 程 。 


9-2 ”Pivitol 及 合作 伙伴 提供 的 服务 
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9-3 ”调用 服务 代理 API 和 服务 代理 的 响应 过 程 


- 当 用 户 执行 cf create-service-broker 时 ，Cloud Controller 调 用 服务 代理 的 /v2/catalog API 来 获取 catalog 信 息 并 保存 在 自己 的 ccdb 中 。 


- 当 用 户 执行 cf matketplace 列 出 平台 可 用 的 服务 时 ，Cloud Controller 直 接 读 取保 存在 ccdb 中 的 信息 并 返回 给 用 户 ， 这 一 步 不 需要 和 服务 代理 交互 。 


， 当 用 户 执行 cf create-service 来 创建 一 个 服务 时 ，Cloud Controller 调 用 服务 代理 的 /v2/service_instances API 来 创建 一 个 服务 实例 。 


- 当 用 户 执行 cf bind-service 把 一 个 应 用 和 创建 的 服务 关联 时 ，Cloud Controller 调 用 服务 代理 的 /v2/service_instances/:instance_id/service_bindings API 来 绑 定 应 用 。 
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< 当 用 户 执行 cfunbind-service 取 消 应 用 绑 定时 ，Cloud Controller 调 用 服务 代理 的 /v2/service_instances/:instance_id/service_bindings API 的 DELETE 方 法 ， 从 而 取消 绑 定 。 


< 当 用 户 执行 cf delete-service 删 除 服务 时 ，Cloud Controller 调 用 服务 代理 的 /v2/service_instances API 的 DELETE 方 法 ， 完 成 删除 。 


接 下 来 详细 介绍 服务 代理 如 何 实现 这 些 APl。 


(1) Catalog 


代理 需要 实现 的 第 一 个 API 就 是 Catalog API (/v2/catalog) 。Cloud Controller 将 访问 代理 这 一 连接 点 (endpoint) ， 把 相应 的 服务 目录 信息 存储 在 Cloud Controller 数 据 库 。 如 果 该 目录 信息 无 法 
加 载 或 者 无 法 验证 ，Cloud Controller 就 不 会 添加 新 的 代理 。 当 代理 更 新 后 ， 用 户 可 以 通过 update-service-broker 命 令 来 更 新 保存 在 数据 库 中 的 相应 记录 。 


(2) Provision 


当代 理 收 到 一 个 Provision 请 求 (/v2/service instances/:id) 时 ， 它 应 该 同步 为 用 户 创建 一 个 新 的 服务 资源 。 创 建 的 结果 可 以 根据 服务 的 类 型 有 不 同 的 形式 ， 对 于 一 个 MySQL 服 务 ， 创 建 的 结果 可 以 
是 : 


“ 运行 在 一 个 新 虚拟 机 上 的 独 享 的 mysqld 进 程 。 

“ 运行 在 一 个 共享 虚拟 机 上 的 轻 量 容 器 中 的 独 享 mysqld 进 程 。 
运行 在 一 个 共享 虚拟 机 上 的 独 享 mysqld 进 程 。 

“ 一 个 共享 的 mysqld 进 程 中 的 一 个 独 享 数 据 库 。 

“ 一 个 共享 数据 库 中 的 一 个 特定 schema。 

“ 一 个 完整 的 数据 库 ， 例 如 ， 一 个 用 于 测试 的 生产 数据 库 找 贝 。 


如 果 是 非 数据 服务 ， 也 可 以 仅仅 是 在 现 有 系统 中 创建 一 个 账号 。 


(3) BIND 


当 服 务 代理 收 到 一 个 bind 请 求 时 (/v2/service_instances/:instance_id/service_bindings/:id) , 它 应 该 返回 合适 的 信息 ， 帮 助 应 用 程序 利用 创建 的 资源 。 这 一 信息 通常 称 为 credentials。 如 果 可 能 ， 每 


个 应 用 应 该 收 到 不 一 样 的 访问 信息 ， 以 便 应 用 之 间 不 会 互相 干扰 。 


还 有 其 他 一 些 AP1， 例 如 取消 绑 定 的 unbind API (/v2/service instances/:id) 和 删除 服务 的 deprovision API (/v2/service_instances/:instance_id) 。 


完整 的 API 参 数 和 返回 值 要 求 ， 请 参考 https://docs.cloudfoundry.org/services/api.html。 


下 面 两 个 github 项 目 是 分 别 用 Java 和 Ruby 语 言 实现 的 MySQL 代理 ， 可 以 作为 理解 代理 概念 和 实现 代理 的 参考 : 


* https://github.com/cloudfoundry-community/cf-mysql-java-broker 


* https://github.com/cloudfoundry/cf-mysql-broker 


9.1.3 ”管理 服务 代理 


当 实 现 了 Broker 以 后 ， 就 可 以 通过 create-service-broker 命 令 来 注册 该 Broker。 在 命令 中 提供 的 基本 身份 认证 信息 会 在 加 密 后 存储 在 Cloud Controller 数 据 中 ， 用 于 以 后 API 访 问 的 身份 认证 。 服 务 代 
理 需要 在 处 理 每 一 个 请 求 时 验证 用 户 名 和 密码 ， 否 则 ， 任 何人 都 可 以 通过 访问 服务 代理 来 删除 服务 实例 。 


1. 注 册 代理 


可 以 使 用 create-service-broker 命 令 来 注册 代理 ， 如 下 所 示 : 


cf  create-service-broker mybrokername someuser somethingsecure 
http://mybroker.example.com 


缺 省 地 ， 新 添加 的 服务 的 计划 是 私有 的 ， 除 非 把 它 公开 或 者 显 式 地 让 它 在 一 些 组 织 中 可 见 ， 否 则 用 户 无 法 使 用 。 可 以 使 用 enable-service-access 命 令 让 服务 可 见 ， 如 下 所 示 : 


$ cf enable-service-access p-riakcs 
Enabling access to all plans of service p-riakcs for all orgs as adminhttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/0EBPS/Text/.. 


OK 


$ cf service-access 
getting service access as adminhttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/OEBPS/Text/... 


broker: p-riakcs 


service plan access orgs 
p-riakcs developer all 
2. 列 出 代理 


可 以 通过 以 下 命令 列 出 代理 : 


$ cf service-brokers 
Getting service brokers as adminhttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/OEBPS/Text/...Cloud Controller 


OK 


Name URL 
my-service-name http://mybroker.example.com 


3. 删 除 代理 


删除 代理 将 从 数据 库 中 删除 所 有 的 服务 和 计划 ， 之 后 用 户 在 Cloud Foundry Marketplace 中 将 无 法 看 到 该 服务 。 


$ cf delete-service-broker mybrokername 


4 .清除 代理 


如 果 一 个 服务 代理 被 终止 或 者 删除 了 ， 但 是 在 此 之 前 没有 从 Cloud Foundry 中 删除 相应 的 服务 实例 ， 这 时 就 不 能 通过 delete-service 命 令 来 删除 这 些 孤 立 的 服务 实例 。 应 使 用 purge-service-offering 命 
令 从 Cloud Controller 数 据 库 中 清除 该 代理 提供 的 服务 和 所 有 的 计划 、 创 建 的 服务 实例 以 及 与 应 用 程序 的 绑 定 。 清 除 这 些 内 容 后 ， 就 可 以 正常 地 删除 代理 了 。 


$ cf purge-service-offering vl-test -p pivotal-software 
Warning: This operation assumes that the service broker responsible for this service offering is no longer available, and all service instances have been deleted, leaving orphe 


service bindings. No attempt will be made to contact the service broker; running this command without destroying the service broker will cause orphan service instances. After r 


Really purge service offering vl-test from Cloud Foundry? y 
OK 


管理 代理 的 其 他 命令 还 包括 更 改 代理 名 称 rename-service-broker 和 更 新 代理 update-service-broker， 其 用 法 比较 简单 。 可 以 通过 cf help 来 查看 。 


9.1.4 ”使 用 服务 


在 部 署 好 服务 和 代理 并 且 将 代理 注册 到 Cloud Foundry 后 ， 用 户 就 可 以 方便 地 使 用 这 些 服务 了 。 


首先 ,使 用 marketplace 命 令 可 以 看 到 现在 系统 中 有 哪些 服务 可 用 : 


Oo — cf marketplace 
Getting services from marketplace in org pivotal / space dev as adminhttp://www.hzcourse.com/resource/readBook?path=/openresources/teach_ebook/uncompressed/16515/OEBPS/Text/... 


OK 
service plans description 
app-autoscaler bronze, gold Scales bound applications in response to load (beta) 


p-mysql 100mb, 1gb, 20gb MySQL databases on demand 


redis dedicated-vm Redis service to provide a key-value store 


如 果 想 要 使 用 MYSQL 服务， 可 以 看 看 可 以 使 用 哪些 计划 : 


o 5 cf marketplace -s p-mysql 
Getting service plan information for service p-mysql as adminhttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/OEBPS/Text/... 
OK 


service plan description free or paid 
100mb Shared MySQL Server free 
1gb Shared MySQL Server free 
20gb Shared MySQL Server free 


可 以 看 到 ，MySQL 服 务 提供 了 三 个 免费 的 计划 ， 数 据 库 大 小 分 别 是 100M、1G 和 20G。 如 果 我 们 需要 一 个 大 一 点 的 数据 库 ， 可 以 选择 1G 的 计划 ， 创 建 一 个 服务 : 


O 5 cf create-service p-mysql 1gb mysql4me 
Creating service instance mysql4me in org pivotal / space dev as adminhttp://www.hzcourse.com/resource/readBook?path=/openresources/teach_ebook/uncompressed/16515/OEBPS/Text/.. 
OK 


这 时 创建 了 一 个 名 为 mysql4me 的 数据 库 。 假 如 有 一 个 应 用 whatismyip 需 要 使 用 这 个 服务 ， 可 以 使 用 如 下 方法 绑 定 该 服务 : 


o + cf bind-service whatismyip mysql4me 
Binding service mysql4me to app whatismyip in org pivotal / space dev as adminhttp://www.hzcourse.com/resource/readBook?path=/openresources/teach_ebook/uncompressed/16515/OEBPS 
OK 


在 应 用 中 就 可 以 通过 下 面 列 出 的 环境 变量 访问 服务 : 


o 5 cf env whatismyip 
Getting env variables for app whatismyip in org pivotal / space dev as adminhttp://www.hzcourse.com/resource/readBook?path=/openresources/teach_ebook/uncompressed/16515/OEBPS/T 
OK 


System-Provided: 


"VCAP SERVICES": { 
"pemysqi": [ 
{ 

"credentials": { 
"hostname "dbhost.cn", 
"jdbcUrl": "jdbc:mysql://dbhost.cn:3306/cf XXXXX?user-XXXXpassword- "m 
"name": "dbname", = 
"password": "password", 
"port": 3306, 
"uri": "mysql: //username@dbhost .cn:3306/dbname?reconnect=true", 
"username": "username" 
ty 
"label": "p-mysql", 

"; "mysql4me", 


"mysql" 
] 


9.1.5 ”用 户 提供 的 服务 


户 提供 的 服务 实例 可 以 将 Cloud Foundry 中 的 数据 库 、 消 息 服务 等 访问 信息 表示 为 一 个 服务 实例 ， 让 应 用 程序 绑 定 。 例 如 ， 一 个 应 用 使 用 的 Oracle 数 据 库 部 署 在 Cloud Foundry 外 部 ， 开 发 人 员 可 以 


创建 一 个 用 户 提供 的 服务 实例 来 表示 这 个 外 部 资源 ， 提 供 正确 的 访问 账号 和 参数 。 然 后 在 应 用 程序 代码 中 ， 就 可 以 避免 硬 编码 这 些 访问 信息 。 下 面 我 们 来 看 一 个 完整 的 例子 。 


创建 用 户 提供 的 服务 的 命令 是 create-user-provided-service， 它 的 别名 是 cups。 


$ cf cups pubsub -p "host, port, binary, username, password" 

host» pubsub01.example.com 

port» 1234 

binary» pubsub.rb 

username» pubsubuser 

password» p8$$wOrd 

Creating user provided service pubsub in org my-org / space development as a.user(example.comhttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompres 


上 述 命令 创建 了 一 个 pubsub 的 服务 ， 服 务 的 访问 信息 已 经 通过 host、port、url、username 和 password 设 定 。 


接着 ， 应 用 程序 就 可 以 绑 定 到 这 个 服务 ， 方 法 如 下 : 


$ cf bind-service msgapp pubsub 

Binding service pubsub to app msgapp in org my-org / space development as a.user@example.comhttp://www.hzcourse.com/resource/readBook?path=/openresources/teach_ebook/uncompress 
OK 

TIP: Use 'cf push' to ensure your env variable changes take effect 


这 样 ， 当 应 用 被 推送 到 Cloud Foundry 后 ， 就 可 以 访问 这 个 pubsub 服 务 。 在 应 用 程序 中 ， 可 以 通过 访问 下 面 列 出 的 环境 变量 来 访问 外 部 服务 : 


$ cf env msgapp 
Getting env variables for app msgapp in org My-Org / space development as a.user(example.comhttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompress 


System-Provided: 
{ 
"VCAP SERVICES": { 
"user-provided": [ 
{ 

"name": "pubsub", 

"label": "user-provided", 

"tags": [], 

"credentials": { 
"hinar "pubsub. rb", 
"host": "pubsub01.example.com", 
"password": "p@29w0rd", 
"port"; "1234", 
"username": "pubsubuser" 


D 
"syslog drain url": 


9.1.6 ”服务 示例 


本 节 将 介绍 如 何在 Cloud Foundry 上 部 署 使 用 服务 。 


1.MySQL Service 
(1) 部 署 MySQL release 至 Cloud Foundry 
访问 cf-mysql-release (https://github.com/cloudfoundry/cf-mysql-release) 获取 MySQL 的 BOSH release， 执 行 以 下 步骤 进行 MySQL 的 部 署 : 


1) 上 传 stemcell: 从 http://bosh.io/stemcells 下 载 相应 的 stemcell (Vsphere esxi 或 AWS hvm) ， 并 上 传 至 BOSH Director, 


$ bosh upload stemcell <stemcell.tgz> 


2) 上 传 release: cf-mysql-release 目 录 已 经 包含 一 些 编译 好 的 release， 可 以 直接 上 传 使 


$ cd ~/workspace/cf-mysql-release 

$ git checkout master 

$ ./update 

$ bosh upload release releases/cf-mysql-«N».yml 


3) 更 新 部 署 描述 文件 。 


@ 定 义 子 网 : 部 署 cf-mysql-release 时 需要 定义 三 个 子 网 ，MySQL Server 会 分 别 部 署 在 这 三 个 子 网 中 以 确保 高 可 用 性 。 在 安装 过 程 中 ， 还 需要 另 一 个 子 网 编译 Package 的 工作 。 
sample aws stub.yml (https://github.com/cloudfoundry/cf-mysql-release/blob/master/templates/sample_stubs/sample_aws_stub.yml) 文件 说 明了 如 何在 AWS 环 境 中 跨 Availability Zones 配 置 
使 用 子 网 。 


@ 创 建 负载 均衡 器 : 为 了 路 由 用 户 请 求 到 MySQL 的 代理 服务 器 ， 需 要 创建 一 个 负载 均衡 器 。 以 AWS 为 例 ， 首 先 需要 在 AWS 创 建 一 个 负载 均衡 器 。 配 置 负载 均衡 器 将 路 由 到 TCP 端 口 3306 的 路 由 转发 到 
所 有 运行 proxy job 的 虚拟 机 实例 的 TCP 端 口 3306。 然 后 ， 配 置 AWS 的 负载 均衡 器 的 healthcheck 端 口 ， 使 之 指向 1936， 此 TCP 端 口 1936 被 MySQL 默 认 使 用 ， 如 果 想 使 用 其 他 端口 ， 可 在 manifest 文 件 中 进 
行 修改 : 


jobs: 
- name: proxy zl 
properties: | 
proxy: 
health port: «port» 


为 了 确保 绑 定 的 应 用 程序 使 用 此 负载 均衡 器 来 访问 后 台 的 数据 库 ， 应 将 manifest 文 件 中 cf-mysql-broker 的 job 的 属性 properties.mysql_node.host 赋 值 为 负载 均衡 器 的 地 址 : 


- name: cf-mysql-broker_z1 
properties: = 
mysql_node: 
“host: <load balancer address> 


4) 创建 部 署 文件 : 这 里 以 AWS 为 例 来 介绍 如 何 创 建部 署 文件 。 拷 贝 sample_aws stub.yml (https://github.com/cloudfoundry/cf-mysql- 
release/blob/master/templates/sample stubs/sample aws stub.yml) ， 创 建 stub 文 件 cf-mysql-aws-stub.yml。 根 据 AWS 环 境 配 置 修改 cf-mysql-aws-stub.yml 文 件 。 同 样 也 可 复制 
sample plans stub.yml (https://github.com/cloudfoundry/cf-mysql-release/blob/master/templates/sample_stubs/sample_plans stub.yml) 文件 ， 作 为 MySQL 的 service plan。 执 行 以 下 命令 创 
建 MySQL 部 署 文 件 : 


$ ./generate deployment manifest V 
aws \ > u 

plans stub.yml \ 

cf-mysql-aws-stub.yml > cf-mysql-aws.yml 


5) 部 署 MySQL release, 


$ bosh deployment cf-mysql-aws.yml && bosh deploy 


(2) 设置 MySQL Service Broker 


1) 执行 BOSH errand 命 令 来 注册 MySQL Service Broker: 


$ bosh run errand broker-registrar 


注意 : 如 果 broker 已 经 注册 ， 那 么 再 次 执行 broker-registrar errand 会 失败 ; 如 果 broker 的 名 称 与 部 署 文件 中 jobs.broker-registrar.properties.broker.name 定 义 的 名 称 不 匹配 ， 则 执行 broker- 


registrar errand 也 会 失败 。 


broker-registrar errand 执 行 成 功 后， 执行 以 下 命令 可 以 列 出 broker 的 信息 以 及 Service Plan 的 信息 : 


$ cf service-brokers 
Getting service brokers as adminhttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/OEBPS/Text/... 


name url 
p-mysql https: //p-mysql .pivotalpws.cn:443 
redis https: //redis-broker.pivotalpws.cn 


$ cf marketplace -s p-mysql 
Getting service plan information for service p-mysql as adminhttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/OEBPS/Text/... 


OK 

service plan description free or paid 
100mb Shared MySQL Server free 

1gb Shared MySQL Server free 


20gb Shared MySQL Server free 


F 


2) 为 MySQL Service Broker 添 加 Security Groups, 
从 cf-release v175 开 始 ， 应 用 程序 默认 无 法 连接 Cloud Foundry 内 部 网 络 的 |P 地 址 ， 因 而 无 法 连接 MySQL service。 为 了 使 应 用 程序 可 以 访问 MySQL service， 需 要 创建 Cloud Foundry 的 Security 
Group， 以 确保 应 用 程序 可 以 访问 部 署 文件 中 的 jobs.cf-mysql-broker_z1.mysql_node.host 指 定 IP 所 处 的 地 址 范围 。 例 如 ，MySQL 部 署 在 10.10.163.0/24、10.10.164.0/24 以 及 10.10.165.0/24 子 网 中 ， 则 
需 添加 如 下 Security Group : 
i { 
"destination": "10.10.163.1-10.10.163.255", 
"protocol": "all" 
) 
{ 
"destination": "10.10.164.1-10.10.164.255", 
"protocol": "all" 
) 
{ 
"destination": "10.10.165.1-10.10.165.255", 
"protocol": "all" 
} 
] 
根据 以 上 内 容 创建 rulejson， 并 执行 以 下 命令 : 
$ cf create-security-group p-mysql rule.json 
将 此 规则 绑 定 到 需要 MySQL Service 的 应 用 程序 : 
$ cf bind-running-security-group p-mysql 
Security group 的 更 新 仅 适 用 于 新 创建 的 应 用 程序 ， 旧 的 应 用 需要 重新 启动 以 适用 更 新 过 后 的 Security group. 
(3) 验证 MySQL Service 
cf-mysql-release 包 含 了 Acceptance Tests 的 BOSH errand， 可 以 通过 执行 acceptance-tests errand 来 验证 MySQL Service 是 否 安装 正确 。 执 行 acceptance-tests 的 errand 属 性 设置 位 于 
jobs.acceptance-tests.properties: 
$ bosh run errand acceptance-tests 
可 参考 7.4 节 。 
来 管理 Github 的 Repository， 本 节 将 介绍 如 何 将 Github Service 注 册 至 Cloud Foundry， 供 应 用 程序 在 CF 中 直接 调用 Github 


MySQL Service 的 使 
Github Service (https://github.com/github/github-services) 上 


2.Github Service 


(1) 理解 github-service-broker 


github-service-broker 可 以 从 https://github.com/cloudfoundry-samples/github-service-broker-ruby 处 拷贝 得 到 。 此 文件 目录 包含 如 下 部 分 : service broker app.rb-service broker 代 码 、 


Service 的 服务 实例 。 
github_service_helper.rb-broker 与 GitHub 进 行 交 互 的 代码 、config/settings.yml-Service broker 需 要 的 配置 信息 。 
GitHub Repo Service 提 供 了 对 一 个 Github 账 户 的 所 有 Repository 进 行 管理 的 功能 ， 此 Github 账 户 被 service administrator 所 拥有 。 
Resulting Action 


Creates a public repository inside the account. This repository can be thought of as a service instance 


Function 


(2) 理解 GitHub Repo Service 
Github Service Broker 提供 了 5 个 基本 功能 ， 如 下 表 所 示 。 
catalog Advertises the GitHub repo services and the plans offered 
Generated s GitHub deploy key which gives write access to the repository, and makes the key and repository 


create 
URL available to the application bound to the service instance 
Destroys the deploy key bound to the service instance 


bind 
Deletes the service instance (repository) 


unbind 
delete 
(3) 安装 配置 Github Service Broker 
1) 配置 Service Broker, 
config/settings.yml 列 出 了 如 下 配置 信息 : 
“basic_auth.username 和 basic_auth.password: Cloud Foundry 用 于 验证 安装 service broker. 
catalogservices: 列 出 了 service 的 plan 等 信息 。 
* github.username 和 github.access_token: Github 的 账号 信息 。 可 以 通过 以 下 命令 获取 github.access_token 信 息 
"CF Service Broker"}' \ 


["repo", "delete repo"], "note" 


curl -u <your-github-username> \ 
-d '("scopes": p A» 
https://api.github.com/authorizations 


2) 安装 Service Broker。 


@ 登 录 已 安装 的 Cloud Foundry. 


cf login 


@ 拷 贝 https://github.com/cloudfoundry-samples/github-service-broker-rubyfork。 
@ 配 置 settings.yml， 设 置 Github 账 户 、basic_auth 等 信息 。 


@ 执 行 以 下 命令 : 


$ cd github-service-broker-ruby/service broker/ 
$ cf push github-broker 


@ 在 CF 上 注册 Service Broker， 将 Service plan 公 开化 : 


$ cf create-service-broker github-cf someuser somethingsecure \ 
http://github-broker.«YOUR DOMAIN>/ 

$ cf enable-service-access github-cf 

$ cf service-brokers 


(4) 使 用 Github Service Broker https://github.com/cloudfoundry-samples/github-service-broker-ruby 提 供 了 一 个 应 用 程序 来 测试 使 用 Github Service。 使 用 方式 如 下 : 


$ cd github-service-broker-ruby/example app/ 

$ cf push github-consumer 

$ cf create-service SERVICE PLAN SERVICE INSTANCE 
$ cf create-service github-cf public github-cf-test 
$ cf bind-service github-consumer github-cf-test 

$ cf services 

$ cf restart github-consumer 


92 IR 


9.2.1 PCF-Dev 


1.PCF-Dev 简 介 


Pivotal CF (简称 PCF) 是 Pivotal 公 司 发 行 的 Cloud Foundry 商 业 版 ， 它 是 Pivotal 为 PCF 的 应 用 开发 人 员 准 备 的 一 款 单 台 虚拟 机 版 的 Cloud Foundry。PCF-Dev 虽 然 仅 需 一 台 虚 拟 机 即 可 运行 ， 但 是 却 
包含 了 Cloud Foundry 完 整 的 技术 栈 ， 可 谓 “ 麻 雀 虽 小 ， 五 脏 俱全 ”。 


图 9-4 展 示 了 PCF-Dev 的 架构 。 


MicroPCF 


OAuth2 Server (UAA) Login Server 
Cloud Controller Cell Reps 


App Execution (Diego Cell) 


BBS (HTTP/S) NATS Message Bus 
Metrics Collector App Log Aggregator 


图 9-4 PCF-Dev 的 架构 


在 PCF-Dev 中 ， 除 了 包含 完整 的 Cloud Foundry， 还 包含 下 列 Cloud Foundry Service: 


< MySQL 
+ Redis 
- RabbitMQ 
以 及 一 系列 Buildpack: 
: Java 
+ Ruby 
- Python 
+ Golang 
* Static file 


+ Binary 


PCF-Dev 功 能 强大 ， 使 用 起 来 异常 简便 。 下 面 我 们 演示 搭建 一 个 PCF-Dev 环 境 的 步骤 。 


2. 环 境 准备 


本 节 中 的 例子 将 采用 Cent OS 7.2 作 为 宿主 机 的 操作 系统 、VirtualBox 为 虚拟 机 平台 来 部 署 PCF-Dev。 


1) 安装 依赖 的 软件 包 。 


ROUTING 


AUTHENTICATION 


APP LIFECYCLE 


SERVICES 


MESSAGING 


METRICS 


# rpm -Uvh http://mirror.pnl.gov/epel/7/x86 64/e/epel-release-7-5.noarch.rpm 

# yum install -y vim git screen kernel* libX11 qt SDL SDL-devel libxml2-devel \ 
libvpx libpng libXt libXmu libxslt libxslt-devel openssl \ 
openssl-devel libXcursor libXinerama qt qt-devel wget gcc \ 
unzip ntpdate net-tools 


2) 安装 Ruby 环 境 ， 使 用 


rbenv 来 安装 和 管理 Ruby。 


git clone git://github.com/sstephenson/rbenv.git SHOME/.rbenv 

git clone https://github.com/sstephenson/ruby-build.git $HOME/.rbenv/plugins/ruby-build 
echo 'export PATH-"SHOME/.rbenv/bin:SPATH"' >> -/.bash profile 

echo 'eval "$(rbenv init -)"' >> -/.bash profile 

source -/.bash profile = 

rbenv install 2.3.0 

rbenv global 2.3.0 

gem install bundle 

gem install nokogiri -- --use-system-libraries 


3E 3E EE dbdE dE dE dE 


3) 安装 Vagrant， 方 法 如 下 : 


# wget https://releases.hashicorp.com/vagrant/1.8.1/vagrant 1.8.1 x86 64.rpm 
# rpm -Uvh vagrant 1.8.1 x86 64.rpm 


验证 Vagrant， 方 法 如 下 : 


# vagrant --version 
Vagrant 1.8.1 


4) 安装 Virtual Box, mon: 


#wget http: //download.virtualbox.org/virtualbox/5.0.16/VirtualBox-5.0-5.0.16 105871 el7-1.x86 64.rpm 
# # 安 装 virtualbox 时 需要 Linux Kernel 的 源 代 码 ， 设 置 KERN_DIR 环 境 变量 指示 Kernel1 源 代码 路径 B 

# export KERN DIR-/usr/src/kernels/«your kernel dir» 

# rpm -Uvh VirtualBox-5.0-5.0.16 105871 el7-1.x86 64.rpm 


验证 Virtualbox 是 否 安装 成 功 ， 命 令 如 下 : 


4 VBoxManage --version 
5.0.16r105871 


3. 部 署 PCF-Dev 


1) 从 Pivotal Network 下 载 PCF-Dev， 如 图 9-5 所 示 。 


Pivotal Cloud Foundry 


Pivotal Cloud Foundry (PCF) delivers a Buildpacks Elastic Runtime 
modern IT platform that accelerates 
software development without 
compromising operations on any cloud 
infrastructure. Ops Manager Ops Metrics 
P Stemcells 


9-5 ”下载 PCF-Dev 


Pivotal Network 的 地 址 为 http://network.pivotal.io。 
2) 解压 PCF-Dev。 


3) 启动 PCF-Dev。 


# cd «pcf-dev» 
# ./start-osx # 在 linux 也 可 以 正常 工作 


4) 查看 PCF-Dev Component, 命令 为 : 


# cd <pcf-dev> 
# vagrant ssh ## 登 录 Pcf-dev 虚 拟 机 


< 登录 之 后 的 pcf-dev 虚 拟 机 > 

$ sudo -i 

# monit summary 
root8agent-id-pcfdev-0:-4 monit summary 
The Monit daemon 5.2.5 uptime: 14m 


Process 'consul agent' running 
Process 'cloud controller clock' running 
Process 'cloud controller ng' running 


Process 'cloud controller worker local 1' running 
Process 'cloud controller worker local 2' running 
Process 'nginx cc' ruing 

Process 'cloud controller migration' running 


Process 'cloud controller worker 1' running 


Process 'doppler' running 

Process 'gorouter' running 

Process 'loggregator trafficcontroller' running 
Process 'metron agent' running 

Process 'nats' . running 

Process 'postgres' running 

Process 'route registrar' running 
Process 'routing-api' running 


Process 'uaa' running 


Process 
Process 
Process 
Process 
Process 
Process 
Process 
Process 
Process 
Process 
Process 
Process 
Process 
Process 
Process 
Process 
Process 
Process 
Process 
Process 
Process 
Process 
Process 
Process 
Process 
Process 
Process 
Process 
Process 
Process 
System 


'etcd' running 

'garden' running 
'auctioneer' running 

'bbs' running 

'cc uploader' running 
'converger' running 

'file server' running 
'nsync listener' running 
'nsync bulker' running 
'rep' running 

'route emitter' running 
'ssh proxy' running 
'stager' running 

'tps listener' running 
'tps watcher' running 
'syslog-configurator' running 
'process-watcher' running 
'cf-redis-broker' running 
'"broker-nginx' running 


'cf-redis-route-registrar' running 
'cf-mysql-broker' running 
'cf-mysql-route-registrar' running 
'quota-enforcer' running 
'mariadb ctrl' running 
'galera-healthcheck' running 


'gra-log-purger-executable' running 
'rabbitmq-broker' running 
'rabbitmq-broker-route-registrar' running 


'rabbitmq-management-route-registrar' running 
'rabbitmq-server' running 
'system localhost' running 


启动 后 的 PCF-Dev 虚 拟 机 配置 了 两 块 网 卡 ,一 块 


如 果 命 令 


来 连接 Cloud Foundry 网 络 ， 


行 环境 中 设 有 http 或 者 https proxy， 需 要 执行 如 下 步骤 : 


1P 为 10.0.2.15/24; 一 块 有 


来 和 宿主 机 通信 ，1P 为 192.168.11.11。 


export n 


Oo proxy-192.168.11.11,10cal.pcfdev.io 


至 此 ，PCF-Dev 环 


考虑 到 PCF-Dev 的 大 小 和 国 


境 准 备 完毕 。 


内 网 络 的 实际 状况 ， 我 们 也 制作 了 PCF-Dev 的 一 个 离线 安装 包 ， 将 相关 的 依赖 打包 到 一 起 ， 


可 以 从 下 面 的 网 盘 下 载 使 


https://pan.baidu.com/s/leSPp1J0 


4. 部 署 APP 到 


1) 安装 CF CLI, 


PCF-Dev 


命令 如 下 : 


#rpm -Uvh https://s3.amazonaws.com/go-cli/releases/v6.16.1/cf-cli-installer 6.16.1 x86-64.rpm 


2) 登录 PCF-Dev。PCF-Dev 默 认 的 域名 为 local.pcfdev.io,*.local.pcfdev.io 会 被 解析 到 192.168.11.11， 


命令 如 下 : 


# ping 


PING xyz. 


64 bytes 


==> xyz. 
5 packet: 
rtt min/ 


# cf ap 
Setting 
OK 


API endp 
Not logg: 
# cf lo 
API endp 
Email» a 


xyz.local.pcfdev.io 
local.pcfdev.io (192.168.11.11) 56(84) bytes of data. 


from 192.168.11.11: icmp | seq=1 ttl-64 time-0.818 ms 
from 192.168.11.11: icmp seq-2 time-1.45 ms 
from 192.168.11.11: icmp seq-3 time-1.33 ms 
from 192.168.11.11: icmp seq-4 time-1.69 ms 


from 192.168.11.11: icmp seq-5 time-1.25 ms 
local.pcfdev.io ping statistics --- 
s transmitted, 5 received, 0% packet loss, time 4006ms 


avg/max/mdev = 0.818/1.311/1.696/0.292 ms 


api endpoint to api.local.pcfdev.iohttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/0EBPS/Text/.. 


i https://api.local.pcfdev.io --skip-ssl-validation 
oint: https://api.local.pcfdev.io (API version: 2.51.0) 
ed in. Use 'cf login' to log in. 


gin ##username/password are admin/admin 
oint: https://api.local.pcfdev.io 
dmin 


Password» 
Authenticatinghttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/OEBPS/Text/... 


OK 


Targeted org pcfdev-org 


Targeted space pcfdev-space 


API endpoint: https://api.local.pcfdev.io (API version: 2.51.0) 
User: admin 

Org: pcfdev-org 

Space: pcfdev-space 

3) 部 署 APP， 命 令 如 下 : 

# cd «app» 

# cf push. 


9.2.2 Concourse 


在 开发 C 


系统 一 一 Concourse (http://Concourse.ci/) 。 


毫 无 疑问 ， 从 一 个 CI 工具 转向 另 一 个 CI 工具 将 是 一 件 非常 麻烦 的 


loud Foundry 的 过 程 中 ，CI (Continuous Inetgration, 


持续 集成 ) 是 不 可 缺少 的 工 


为 什么 我 们 没有 使 用 现 有 的 CI 工 


新 学 习 新 的 系统 配置 、 重 新 设置 环境 变量 等 。Concourse 在 六 
如 果 你 也 认同 这 些 原 则 ， 那 么 不 妨 尝试 一 下 Concourse 这 一 新 的 CI 工具。 


呢 ? 


> ECI, 


情 ， 尤 其 是 对 于 大 型 的 项 目 来 说 。 
股 计 的 时 候 考虑 了 如 下 的 一 些 基 本 原则 ， 


你 一 定 会 想到 大 名 见 易 的 Jenkins， 或 者 Travis。 在 Pivotal， 


是 因为 通常 情况 下 ，Cl 系 统 和 项 目 本 身 通过 


过 一 些 配置 文件 、 环 境 变 量 


这 些 原则 通过 鼓励 将 项 目 本 身 同 Cl 系统 进行 解 耦 而 降低 了 采 上 


我 们 使 用 一 款 自己 研发 的 开源 Cl 


等 纠缠 在 一 起 ， 更 换 CI 往往 
或 者 放弃 Concourse 的 风险 。 


EE 


简单 性 是 任何 工具 受到 用 户 欢迎 而 必 备 的 特点 。 


.可 用 


Concourse 的 页 面 导 航 为 帮助 用 户 快速 浏览 其 关心 的 内 容 做 了 优化 。 从 主页 面 上 只 需 一 次 点 击 ， 就 可 以 从 流水 线 视图 (Pipeline View) 直达 一 个 作业 最 近 一 次 失败 的 日 志 ， 在 那里 可 以 看 到 该 作业 全 部 
的 构建 历史 。 


“ 构建 隔离 


管理 CI 系统 中 Worker 虚 拟 机 的 状态 是 一 件 令 人 非常 头疼 的 事 。 用 户 需要 确保 这 些 虚拟 机 上 的 运行 环境 不 会 被 运行 的 作业 改变 ， 并 且 要 经 常 调整 一 些 配置 来 获得 想 要 的 运行 环境 。 在 Concourse 
中 ，Worker 是 没有 状态 的 ， 每 个 任务 运行 在 由 它 自己 的 配置 文件 所 定义 的 容器 里 。 不 同 的 团队 可 以 使 用 同一 个 Concourse 而 无 需 担 心 互相 干扰 。 


“ 可 扩展 ， 可 重建 


Concourse 采 用 BOSH 部 署 ， 在 任何 时 候 都 可 以 轻松 重建 。 也 可 以 根据 负载 情况 轻松 地 进行 动态 伸缩 。 


+ 灵活 


Concourse 把 其 他 产品 中 的 核心 功能 作为 用 户 空间 的 “资源 ”来 实现 。 这 种 设计 使 得 Concourse 只 需要 一 个 小 而 简单 的 核心 ， 从 而 具有 良好 的 扩展 性 。 下 面 这 些 功能 在 Concourse 中 都 是 作为 资源 实现 
的 ， 用 户 也 可 以 用 同样 的 方法 来 扩展 Concourse 的 功能 。 


.GIT 仓库 


BAF 


* Docker 镜 像 


+ 归档 (tar.gz) 文件 


上 面 简单 介绍 了 Concourse 的 特点 ， 下 面 我 们 来 看 看 它 和 广泛 使 用 的 Jenkins 有 什么 不 同 。 


首先 ， 随 着 项 目的 迭代 ，Jenkins 中 会 存放 越 来 越 多 的 Shell 脚 本 ， 安 装 更 多 的 插件 和 软件 包 。 虽 然 有 办 法 把 这 些 配置 保存 下 来 ， 但 Jenkins 系 统 本 身 很 难 通过 一 些 断 言 式 的 方法 来 进行 配置 。Concourse 
的 所 有 配置 都 可 以 存放 于 版 本 控制 系统 之 下 ， 这 也 就 意味 着 把 整个 系统 删除 ， 然 后 在 另外 一 个 地 方 重建 会 非常 容易 。 而 且 ， 所 有 的 构建 过 程 都 发 生 在 各 自 的 容器 中 ， 构 建 过 程 中 安装 的 软件 包 不 会 对 其 他 构 
建 作 业 造 成 干扰 。 


其 次 ，Jenkins 对 流水 线 (Pipeline) 的 支持 并 不 完美 。 虽 然 可 以 定义 一 些 作业 执行 的 先后 顺序 ， 但 这 种 方法 很 容易 出 错 ， 而 且 在 一 些 复杂 情况 下 会 令 人 迷惑 。Concourse 假 定 用 户 会 创建 流水 线 ， 但 并 
不 要 求 用 户 来 定义 作业 的 先后 顺序 ， 它 只 需要 知道 每 一 个 作业 合法 的 输入 是 什么 ， 然 后 自动 计算 出 最 终 的 流水 线 。 


另外 ， 在 Jenkins 的 UI 上 ， 通 常 需要 从 主页 开始 通过 3 次 点 击 才 可 以 看 到 构建 失败 的 日 志 输 出 。Concourse 的 UI 设计 则 帮助 用 户 尽 可 能 快 地 获得 这 些 信息 ， 只 需 一 次 点 击 即 可 看 到 最 近 一 次 构建 的 日 志 。 


如 果 需 要 进一步 了 解 Concourse， 可 以 访问 它 的 网 站 http://Concourse.ci/， 它 的 源 代码 位 于 https://github.com/Concourse。 


9.2.3 Spiff 


BOSH 是 Cloud Foundry 的 部 署 工具 。 通 过 BOSH， 我 们 可 以 将 烦琐 的 日 常 部 署 、 更 新 等 工作 高 度 自动 化 ， 节 约 大 量 时 间 。 有 时 候 ， 我 们 需要 在 不 同 的 环境 里 部 署 同一 个 release， 例 如 测试 环境 、 生 产 
环境 等 。 为 了 避免 反复 修改 部 署 用 的 manifest 文 件 而 引起 混乱 ， 我 们 的 做 法 是 使 用 模板 文件 和 stub 文 件 分 别 存放 与 环境 无 关 和 与 环境 有 关 的 配置 参数 ， 在 部 署 的 时 候 使 用 Spiff 工 具 将 这 些 模板 文件 和 stub 文 
件 合并 起 来 。Spiff (https://github.com/cloudfoundry-incubator/spiff) 是 一 个 专门 用 来 生成 BOSH 的 部 署 清单 文件 的 命令 行 工具 。 下 面 以 开源 社区 的 Logsearch BOSH Release 为 例 来 介绍 它 的 用 法 。 


Logsearch BOSH Release (https://github.com/logsearch/logsearch-boshrelease) 是 一 个 可 扩展 的 ELK (Elasticsearch, Logstash, Kibana) 软件 栈 ， 可 以 作为 Cloud Foundry 的 日 志 处 理 系 


在 源 代 码 的 最 上 层 目录 下 ， 有 一 个 generate_deployment_manifest 脚 本 ， 在 这 个 脚本 中 ， 我 们 可 以 看 到 如 下 的 代码 : 


#!/bin/sh 


templates=$ (dirname $0) /templates 
infrastructure=$1 
shift 


if [ "$infrastructure" != "aws" ] && \ 
[ "Sinfrastructure" "openstack" ] && \ 


[ "Sinfrastructure" != "warden" ] && \ 
[ "Sinfrastructure" !- "vsphere" ] ; then 
echo "usage: ./generate deployment manifest «aws|warden|vsphere» [stubshttp://www.hzcourse.com/resource/readBook?path-/openresources/teach ebook/uncompressed/16515/OEBPS/Text 
exit 1 
fi 


spiff merge \ 
Stemplates/logsearch-deployment.yml \ 
$templates/logsearch-jobs.yml \ 
Stemplates/logsearch-infrastructure-${infrastructure}.yml \ 


nge" 


templates 目 录 下 的 几 个 模板 文件 与 环境 无 关 。 随 环境 变化 的 内 容 放 在 stub 文 件 中 作为 参数 传 给 generate_deployment_manifest 脚 本 。 


spiff merge 命 令 的 第 一 个 参数 “templates/logsearch-deployment.yml” 是 一 个 完整 的 部 署 清单 文件 模板 ， 其 中 包含 了 所 有 需要 出 现在 最 终结 果 文件 中 的 字段 。 换 言 之 ,没有 在 这 个 文件 中 出 现 的 内 
容 ， 即 使 出 现在 后 面 的 文件 中 ， 也 不 会 被 合并 到 最 终 的 结果 文件 中 : 


cat logsearch-deployment. yml 


<<: (( merge )) 

environment: ~ 

releases: 

- name: logsearch 
version: latest 

default env: 


# Default vcap & root password on deployed VMs (ie cloudcOw) 


# Generated using mkpasswd -m sha-512 


bosh: 
password: (( merge || "$6$4gDD3aVOrdql rKC$2axHCxGKIObs 6tAmMTgYCspcdvOXh3JJcvWOY2WGb4SrdxtnCyNaW1 rf 3WEq 

stemcell: (( merge )) 
name: (( meta.environment )) 
director uuid: (( merge )) 
properties: (( merge )) 
jobs: (( merge )) 
networks: (( merge )) 
releases: (( merge || meta.releases )) 
compilation: 


workers: 4 

network: default 

reuse compilation vms: true 
cloud properties: ~ 


update: 


serial: true 

canaries: 1 

canary watch time: 30000-600000 
update watch time: 5000-600000 
max in flight: 1 

max errors: 1 


resource pools: 


name: logsearch api 

network: default 

stemcell: (( meta.stemcell )) 
cloud properties: - 


env: (( merge meta.default env )) 


name: logsearch ingestor 
network: default 
stemcell: (( meta.stemcell )) 
cloud properties: ~ 


env: (( merge meta.default env )) 


name: logsearch elasticsearch 
network: default 
stemcell: (( meta.stemcell )) 
cloud properties: ~ 


env: (( merge meta.default env )) 


name: logsearch queue 
network: default 
stemcell: (( meta.stemcell )) 
cloud properties: - 


env: (( merge meta.default env )) 


name: logsearch parser 
network: default 
stemcell: (( meta.stemcell )) 
Cloud properties: - 


env: (( merge meta.default env )) 


name: logsearch curator 
network: default 
stemcell: (( meta.stemcell )) 
cloud properties: ~ 


env: (( merge meta.default env )) 


上 面 这 个 模板 中 的 job 的 具体 内 容 将 从 templates/logsearch-jobs.yml 合 并 而 来 : 


templates/logsearch-jobs.yml 合并 而 来 : 


cat logsearch-jobs.yml 


meta: 


<<: (( merge )) 
jobs: 
api: 
templates: 
- name: elasticsearch 
- name: api 
- name: kibana 
elasticsearch: 
templates: 
- name: elasticsearch 


networks: (( merge )) 
name: (( merge )) 


properties: 


««: (( merge )) 
curator: 
««: (( merge )) 


elasticsearch host: (( jobs.api.networks.default.static ips.[0] )) 


logstash parser: 
««: (( merge )) 
debug: false 


use local elasticsearch: true 


logstash ingestor: 
debug: false 


redis: 
host: (( jobs.queue.networks.default.static ips.[0] )) 
api: 
elasticsearch host: (( jobs.api.networks.default.static ips.[0] ":9200")) 
elasticsearch: ` = 
<<: (( merge )) 
log level: DEBUG 
host: (( jobs.api.networks.default.static ips.[0] "," jobs.elasticsearch persistent.networks.default.sta 
cluster name: (( name )) 
exec: > 


jobs: 


name: api 
release: logsearch 


templates: (( merge || meta.jobs.api.templates )) 


update: 
serial: true 
instances: 1 
resource pool: logsearch api 
networks: 
- name: default 


static ips: (( static ips(0) )) 


persistent disk: 409600 
properties: 
elasticsearch: 
««: (( merge )) 
node: 
allow data: true 
kibana: 


elasticsearch: (( jobs.api.networks.default.static ips.[0] ":9200" )) 


name: ingestor 
release: logsearch 
templates: 

- name: ingestor syslog 
- name: ingestor relp 
instances: 1 R 


resource_pool: logsearch_ingestor 


networks: 
- name: default 


static_ips: (( static ips(1) )) 
properties: = 
logstash_ingestor: 
debug: false 
relp: 
port: ~ 


- name: queue 

release: logsearch 
templates: 
- name: queue 
instances: 1 
resource pool: logsearch queue 
persistent disk: 40960 
networks: 
- name: default 

static ips: (( static ips(2) )) 

- name: parser T 

release: logsearch 
templates: 
- name: parser 
instances: 1 
resource_pool: logsearch_parser 
networks: 
- name: default 

default: 

- dns 

- gateway 
properties: 

elasticsearch: 

node: 
allow master: true 


- name: elasticsearch persistent 
release: logsearch 
templates: (( merge || meta.jobs.elasticsearch.templates )) 
update: 
serial: true 
instances: 1 
resource pool: logsearch elasticsearch 
networks: 
- name: default 
static ips: (( static ips(3) )) 
persistent disk: 409600 
properties: 
elasticsearch: 
node: 
allow master: true 


- name: elasticsearch autoscale 
release: logsearch ` 
templates: (( merge || meta.jobs.elasticsearch.templates )) 
update: 
serial: true 
instances: 1 
resource pool: logsearch elasticsearch 
networks: 
- name: default 
default: 
- dns 
- gateway 
static ips: (( static ips(4) )) 
persistent disk: 409600 
properties: 
elasticsearch: 
node: 
allow master: true 
- name: curator 
instances: 1 
release: logsearch 
templates: 
- name: curator 
resource pool: logsearch curator 
networks: 
- name: default 
default: 
- dns 
- gateway 
static ips: (( static ips(6) )) 
persistent disk: 0 ES 


第 三 个 文件 包含 了 与 底层 laaS 相 关 的 一 些 参数 ， 例 如 templates/logsearch-infrastructure-aws.yml 提 供 了 AWS 上 的 Availability Zone 的 信息 、 实 例 的 类 型 信息 、ELB 信 息 等 。 注 意 ， 这 里 也 包含 了 
job。 不 过 ， 这 里 主要 是 提供 每 个 job 的 静态 |P 地 址 信息 。 


cat logsearch-infrastructure-aws.yml 


meta: 
««: (( merge )) 
stemcell: 


name: bosh-aws-xen-ubuntu-trusty-go agent 
version: latest 
availability zone: (( merge )) 


jobs: 
- name: api 
instances: 1 


networks: 
- name: default 
static ips: (( static ips(0) )) 


- name: ingestor 
instances: 1 


networks: 
- name: default 
static ips: (( static ips(1) )) 


- name: queue 
instances: 1 


networks: 
- name: default 
static ips: (( static ips(2) )) 


- name: parser 
instances: 1 


networks: 
- name: default 
static ips: (( static ips(5) )) 


- name: elasticsearch persistent 
instances: 1 


networks: 
- name: default 
static ips: (( static ips(3) )) 


- name: elasticsearch autoscale 
instances: 1 
networks: 
- name: default 
static ips: (( static ips(4) )) 


compilation: 
cloud properties: 
instance type: ml.large 


resource_pools: 
- name: logsearch api 
cloud properties: 
availability zone: (( merge meta.availability zone )) 
instance type: (( merge "ml.large" )) T 
elbs: ~ 


- name: logsearch_ingestor 
cloud_properties: 
availability zone: (( merge meta.availability zone )) 
instance type: (( merge "ml.large" )) 
elbs: ~ 


- name: logsearch elasticsearch 

cloud properties: 

availability zone: (( merge meta.availability zone )) 
instance type: (( merge "ml.large" )) 

elbs: ~ 


- name: logsearch queue 
cloud properties: 
availability zone: (( merge meta.availability zone )) 
instance type: (( merge "ml.large" )) T 
elbs: ~ 


- name: logsearch parser 
cloud properties: 
availability zone: (( merge meta.availability zone )) 
instance type: (( merge "ml.large" )) 
elbs: ~ ` 


- name: logsearch curator 
Cloud properties: 
availability zone: (( merge || meta.availability zone )) 
instance type: (( merge || "ml.large" )) = 
elbs: ~ 


networks: (( merge )) 


最 后 ， 由 用 户 调用 的 generate_deployment_manifest 脚 本 是 传 入 的 stub 文 件 。 通 常 ， 我 们 对 于 每 一 个 环境 维护 一 个 stub 文 件 ， 用 来 存放 该 环境 特定 的 一 些 信息 ， 例 如 IP 地 址 段 : 


cat stub.aws.example.yml 


meta: 
availability zone: ap-northeast-la 


releases: 
- name: logsearch 
version: latest 


name: logsearch-ashamalama 
director uuid: 12345-12345-12345-12345 


resource pools: 
- name: logsearch api 
cloud properties: 
elbs: 
- logsearch-api 


- name: logsearch ingestor 
cloud properties: 
elbs: 
- logsearch-ingestor 


- name: logsearch elasticsearch 
cloud properties: 
elbs: 
- logsearch-elasticsearch 


networks: 
- name: default 

type: manual 

subnets: 

- range: 10.10.48.0/24 
gateway: 10.10.48.1 
Cloud properties: 

subnet: subnet-12345 
security groups: [logsearch] 
dns: 

- 10.10.0.2 

reserved: 

- 10.10.48.2 - 10.10.48.9 
static: 
- 10.10.48.10 - 10.10.48.55 


9.3 本章 小 结 


通过 以 上 对 于 服务 代理 的 介绍 可 以 看 出 ， 提 供 一 个 服务 代理 只 需要 实现 几 个 特定 的 AP1， 就 可 以 利用 服务 和 服务 代理 很 好 地 解 耘 应 用 和 应 用 依赖 的 外 部 服务 ， 方 便 构 建 微服 务 架构 的 应 用 。 
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